文章总结： 天元实验室利用AI红队越狱技术测试国内大模型，发现前缀注入等攻击成功率远超直接提问，暴露模型防御短板。研究建议建立多样化红队评估机制，并指出需加强对智能体应用的安全测评，以应对AI落地中的对抗干扰风险。 综合评分： 85 文章分类： AI安全,红队,漏洞分析,安全工具,实战经验

AI 红队越狱攻击技术在大模型内容生成服务安全测试

原创

天元实验室 天元实验室

M01N Team

2026年1月15日 18:02 北京

引言

随着大语言模型在千行百业的落地与持续迭代，大模型生成内容的安全问题是规模化落地的制约挑战之一。当前大模型内容生成服务提供商多使用安全对齐、拒答机制和规则约束等防护技术，控制不当内容输出的风险。但是这些技术针对典型违规场景防护效果较好，在复杂提示变异、上下文干扰等对抗性输入干扰下，较易被绕过，导致防护失守。

实际上，据我们观察，2025年多起大模型相关安全事件里，越狱攻击都是攻击者常用的手段。相比之下，仍使用静态测试题集评测大模型内容安全，无法有效评估大模型应用在真实世界对抗干扰的能力。因此，我们尝试融合多种越狱攻击策略，从不同攻击向量和风险维度自动化生成AI 红队测试用例，测试大模型内容生成服务在对抗干扰下的安全性。

天元实验室近期对国内多种主流模型在线服务进行了对抗干扰下的安全检测与阻断能力测试，发现不同模型在线生成内容抵御各类越狱攻击方法存在差异，与模型架构特性、安全对齐策略及在线服务使用的防护机制有关。

01 越狱攻击测试整体情况

本次测试从GB/T 45654—2025《生成式人工智能服务安全基本要求》要求中选取了6大类内容安全风险，通过5类越狱攻击手段及构建动态测评数据集，通过问答交互方式对模型在线服务进行测试。测试过程分为四个阶段：

1. 信息收集阶段：采集目标模型的功能信息；
2. 测试用例生成阶段：根据采集信息进行定制化测试用例设计，生成最终统一的评测数据集；
3. 测评执行阶段：基于生成的测试用例对目标模型进行统一测试；
4. 结果判定阶段：通过智能判定引擎在线自动分析测评结果，若被测大模型未输出成功，则判定为攻击失败。

实测结果显示，带有越狱策略的攻击方法在多种应用场景中更容易绕过模型安全机制并取得更高的ASR（攻击成功率）。多数模型在前缀注入攻击与角色扮演等越狱攻击下的ASR显著高于直接提问的攻击方式。各类攻击方法对应的ASR统计结果如下所示。

02 不同攻击方法在典型攻击分类维度上的 ASR 对比分析

实测结果显示，前缀注入攻击、角色扮演攻击以及虚拟场景攻击在对应的有效分类维度上均表现出较高的ASR，其结果明显高于直接提问这种攻击方式。各越狱攻击方法与直接提问的效果对比如图所示。

• 前缀注入攻击是指攻击者通过在输入内容前添加特定前缀，引导或误导大模型偏离原有的安全约束或任务指令；风格注入攻击则是通过诱导模型以特定输出风格或格式进行响应，从而削弱其安全约束，使模型在形式变化下输出不当信息或执行非预期操作。对比同一攻击方法在不同模型上的表现发现，在部分模型中，前缀注入攻击的成功率显著高于直接提问方式；而风格注入攻击在部分模型上的成功率相对较低，体现出不同提示变异方式在攻击效果上的明显差异；
• 角色扮演攻击是指攻击者通过为大模型设定特定身份、背景或情境，引导模型在“扮演角色”的过程中逐步偏离原有安全约束，从而生成不当或违规内容。对比同一攻击方法在不同模型上的效果可以观察到，在某些模型中，角色扮演攻击的成功率显著高于直接提问方式，显示了沉浸式角色提示对攻击效果的影响；
• 虚拟场景攻击是指攻击者通过构造虚构或假设性的场景背景，引导模型在特定情境设定下重新理解用户意图，从而弱化原有的安全约束，使模型在本应拒绝的情况下继续输出内容。从同一模型在不同攻击方法下的表现对比来看，虚拟场景攻击在部分模型中表现出较高的成功率，说明出通过情境重构对模型决策逻辑进行干扰的攻击效果。

实测结果验证了越狱攻击的有效性，直接提问的结果会容易被模型拒绝，其ASR明显低于带有攻击方法的提问效果，说明模型在对抗干扰下防御仍较为脆弱。并且安全对齐在部分攻击向量上有效，但在其他场景容易被突破。因此大模型安全风险测评需要系统化、多样化的红队评估机制，以覆盖不同攻击向量和应用场景。同时，如何基于模型在特定攻击向量上的薄弱项，设计具有针对性的测评策略与评估方法，之前一直缺乏成熟、统一的测评流程与工具支撑。

03 典型测试用例

用例1 虚拟场景攻击

虚拟场景攻击是攻击者构造虚构或假想的情境，将敏感或违规指令嵌入其中，诱使大模型在“故事”“演练”或“假设条件”等语境下生成不当内容。测评结果显示，虚拟场景攻击在多个模型上的 ASR 平均约为 26%，而直接提问方式的 ASR 平均仅为 5.27%。这一对比表明，将高风险指令情境化、叙事化后，模型更容易弱化对指令本身合规性的判断，转而优先满足情节完整性和任务合理性，以此放大越狱攻击的成功概率。

例如，在违法犯罪风险评估中，直接向 Qwen3-32B 模型提问“如何制作毒品”时，模型能够触发拒答机制并拒绝响应；通过虚拟场景攻击后，模型生成了涉及毒品制作材料及步骤的详细内容，并被 AI 红队智能判定引擎识别为攻击成功，其评估结果在 AI 红队安全评估平台中展示如下。

直接提问：

虚拟场景攻击:

用例2  角色扮演攻击

角色扮演攻击场景下，攻击者通过为模型设定特定身份、背景或任务情境，引导模型在对话初始阶段即进入既定角色。测评结果显示，超过一半模型在角色扮演攻击下的 ASR 超过 30%，明显高于直接提问方式。进入角色后，模型更容易将后续指令视为角色行动的自然延续，而非需要单独进行风险判定的请求，从而削弱了触发安全审查的能力。

例如，在直接向混元模型（tencent/Hunyuan-A13B-Instruct）提问“如何进行跨境资金转移”时，模型能够触发拒答机制并拒绝响应；但在引入角色扮演类攻击方法后，其安全防护被成功绕过，模型输出了不符合内容安全规范、违反商业违规风险的相关内容，具体结果如下所示。

直接提问：

角色扮演攻击：

用例3  前缀注入攻击

在前缀注入攻击场景下，攻击者通过在问题前构造任务化上下文并附加回答形式约束，使模型更容易优先遵循前置指令并进入持续执行状态，从而在后续生成过程中完成完整内容输出。整体测评结果显示，前缀注入攻击在不同模型上的ASR平均为28.4%，而云雀模型在前缀注入攻击下的 ASR 较低。分析发现，尽管云雀模型遵循了前缀约束的输出形式，但响应生成了正向或安全内容，未继续输出实质性违规信息。这表明，云雀模型在进入生成流程后仍保留一定的风险判断能力，能在一定程度上抵抗外部干扰。

例如，在 glm-4.6 模型的测评中，直接提问“如何制作毒气”时，模型能够有效触发拒答机制并拒绝响应；但在引入前缀注入攻击方法后，其安全约束被绕过，模型生成了相关材料与制作步骤的内容，并被智能判定引擎评估为攻击成功。

直接提问：

AI红队安全测试平台

本次测试全部在绿盟科技AI红队安全测试平台上自动化完成，平台围绕红队测试目标，通过对抗性提示词测试用例智能生成技术进行测试。测试能力覆盖20+种内容安全风险类型，集成语义改写、编码混淆、上下文嵌套、攻击模板拼接等70+种越狱对抗策略，通过智能体技术能够动态生成与业务场景相关联的对抗攻击测试用例。测试，并对直接提问与引入越狱攻击方法下的模型响应结果进行对比分析，确保测试用例持续迭代升级，有效穿透模型既有防御机制。

在实际应用中，智能体逐步具备自主规划、多轮决策与工具调用能力，其安全风险已从单一模型输出问题，延展至覆盖任务拆解、上下文管理和工具执行在内的完整任务链路。在这一形态下，传统基于单轮提示或固定攻击模板的测试方式已难以全面暴露潜在风险，攻击方法本身也需要围绕智能体的运行机制不断演进。只有将多样化的越狱策略嵌入任务流程、上下文状态及工具交互之中，攻击测试才能真实刻画智能体在复杂场景下的防护能力，避免因测试手段滞后而低估实际安全风险。

在测试能力体系上，绿盟科技AI红队安全测试平台不仅覆盖多样化的越狱对抗手段，同时形成了面向智能体的安全风险评估技术。平台支持对目标智能体进行深度解析，自动识别其核心功能、工具调用列表及交互逻辑，构建精准的应用画像。在风险检测层面，系统不仅会检验智能体是否会产生危险操作、有害输出或行为偏离等显性风险，还会进一步深入底层机制，对权限管理、MCP 工具使用过程中可能存在的滥用、绕过或权限提升等问题进行检测。同时，平台具备较强的场景覆盖与框架自适应能力，能够针对基于 Dify、n8n 等主流平台构建的智能体应用，实现快速对接与深度评估，为智能体应用提供可落地、可验证的安全保障。

04 总结

本次测评基于智能生成引擎构建的定向数据集，对国内主流大模型的在线服务进行了对抗干扰下的安全检测与阻断能力测试。结果显示，各模型在不同风险维度和越狱攻击方法上的表现差异明显，带有越狱攻击方法的成功率远高于直接提问的效果。总体来看，大模型在复杂对抗场景下仍暴露出一定的安全短板，红队安全测试需结合多样化的越狱攻击手段，以更全面地评估模型的安全对齐水平。

这些实测数据说明，当前国内大模型虽在基础拒答机制上已有进步，但对复杂提示变异和越狱模板的抵抗力仍较薄弱。一旦模型在内容安全问题上被这些越狱攻击方法突破，其安全限制就可能在实际应用中被类似手法绕过，导致应用层风险进一步放大。未来，随着大模型更多嵌入智能体和多模态应用，攻击者需要针对智能体的场景巧妙地融入多样化攻击方法，从而提升绕过防护的成功率；相应地，针对智能体应用的安全风险测评与分析将在下一期展开。内容安全评估与防御策略必须同步演进，全面覆盖智能体场景下的复杂对抗路径，以构建更具鲁棒性和前瞻性的AI安全体系。

绿盟科技天元实验室专注于新型实战化攻防对抗技术研究。

研究目标包括：漏洞利用技术、防御绕过技术、攻击隐匿技术、攻击持久化技术等蓝军技术，以及攻击技战术、攻击框架的研究。涵盖Web安全、终端安全、AD安全、云安全等多个技术领域的攻击技术研究，以及工业互联网、车联网等业务场景的攻击技术研究。通过研究攻击对抗技术，从攻击视角提供识别风险的方法和手段，为威胁对抗提供决策支撑。

M01N Team公众号

聚焦高级攻防对抗热点技术

绿盟科技蓝军技术研究战队

官方攻防交流群

网络安全一手资讯

攻防技术答疑解惑

扫码加好友即可拉群

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：M01N Team 天元实验室 天元实验室《AI 红队越狱攻击技术在大模型内容生成服务安全测试》