IDE编程助手可触发大模型新型越狱攻击!"

admin 2026-10-20 06:50:20 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

cover_image

IDE编程助手可触发大模型新型越狱攻击!

原创

mmc
mmc

AGI安全

2026年7月9日 15:14
北京

在小说阅读器读本章

去阅读

AI SAFETY · IDE 编程助手越狱 · 2026.07

IDE编程助手可触发大模型新型越狱攻击!

现在很多人日常都用 Cursor、Copilot 这类 AI 编程助手写代码。一个全新的越狱安全攻击刚刚被公开证实:同样一个大模型,聊天窗口里明确拒绝的违规、危险内容,只要通过IDE编程助手就可以诱导触发,将违规内容,自动写进代码文件中。

来自阿兰·图灵研究所的最新研究发现了一种全新的越狱攻击方式:不需要复杂话术诱导、不用欺骗模型,只要把危险需求拆成正常的开发步骤交给 AI 编程助手,AI 就会为了完成编码任务主动生成违规内容,藏进代码和配置文件里,全程不在聊天窗口发出任何风险提示。这种攻击被称为工作流级越狱。

816 / 816 编码工作流成功率 8 / 816 常规聊天成功率 4 个 主流模型全中招 ~6 轮 对话即被攻破

重点摘要

简单说,大模型在聊天框中明确拒绝的内容,一到融合进写代码相关的任务,工作流中就完全失守。攻击者不直接问任何危险问题,只是让大模型完成一个常规开发需求,所有违规内容都会由大模型自己生成,并输出到工程代码、配置文件、测试数据中——常规的内容安全审计和 AI 风控检测完全发现不了。这也是目前 VibeCoding 自然语言编程模式下,最隐蔽、成功率最高的大模型越狱攻击。

越狱攻击原理 · 与传统越狱攻击区别 · 攻击流程 · 所有大模型全部失效 · 对企业的真实影响 · 可落地的防御方案 · VibeCoding 时代的安全必修课

01 越狱攻击原理

传统大模型越狱攻击,都是通过话术、角色扮演诱导大模型在聊天窗口输出违规内容,很容易被安全模型识别、拦截。但这次的攻击逻辑完全不一样。

攻击者不直接问任何危险问题,只是让大模型完成一个非常常规的开发需求——搭建一套「AI 安全评测工具」,用来测试大模型会不会被不良内容诱导。在这个正常的开发流程里,研究者只提供了危险测试问题,所有违规答案、风险内容,全部是大模型自己生成的。大模型会把这些风险内容当作测试示例数据,批量写入代码文件中。

所有违规内容都会由大模型自己生成,并输出到工程代码、配置文件、测试数据中——常规的内容安全审计和 AI 风控检测完全发现不了!

02 和传统越狱攻击的区别

对比项 传统越狱 新型工作流越狱
手法 靠话术套路诱导大模型回答问题 不诱导、不提问,把风险需求包装成开发任务
与安全规则 正面对抗模型安全规则,容易被拦截 大模型认为「不写内容就是没完成工作」,主动输出
是否被识别 容易被识别、被拦截 全程绕过安全防护,不触发任何风险提示

传统越狱是骗模型开口,新型越狱是让模型为了完成工作主动输出风险内容。

03 完整攻击流程

整套攻击没有任何黑客操作,完全是日常 AI 编程的多轮协作模式,平均 6 轮对话就能攻破模型:

工作流级越狱 · 六步拆解

① 让大模型开发一款AI安全打分工具,用于评测模型抗诱导能力

② 导入一批公开的危险测试问题,作为项目测试素材

③ 告知大模型AI工具评分过低,需要补充示例问答优化效果

④ 大模型先正常填充无害示例,完成基础功能开发

⑤ 继续要求补充高危示例数据,完善测试用例

⑥ 大模型为完成开发任务,自动批量生成危险答案写入代码文件 → 越狱完成

全程没有违规提问,大模型只是单纯在「完善项目代码」,却自主产出了所有被风控禁止的内容。

04 主流大模型集体被越狱

现有大模型内容安全防护只针对聊天对话场景训练,完全不适配 IDE 编程场景,所以主流大模型全部失效。

① 安全判断认错了场景
模型的安全判断,主要识别「用户主动提问危险内容」的场景。

② 工作优先级压过安全优先级
当需求变成「补全代码、填充测试数据、完善项目功能」时,模型会把完成任务放在更高的优先级上。

③ 多轮协作形成惯性
连续几轮正常配合后,模型只会专注完成任务,不会主动识别任务本身的潜在风险。

④ 风险内容不在聊天里
违规内容以代码文本、测试数据的形式存在,不属于聊天输出,风控系统无法识别拦截。

模型不是被骗了,而是被工作目标带偏了。为了做完开发任务,它主动突破了安全底线。

05 同类风险早已被证实,并非个例

这次越狱攻击不是偶然,多项过往研究都印证了同一个问题:大模型接入代码、工具、工作流后,安全防护会大幅失效。

技术 核心手法
CodeJailbreaker 利用代码提交信息绕过风控,越狱成功率近 80%
RedCode 同样的违规需求,用自然语言问会被拒,写成代码任务就被放行
Crescendo 通过多轮渐进对话,逐步引导模型突破安全限制
GuardFall 写入文件、配置、文档的风险内容,远比聊天内容更容易绕过防护

而本次研究的危害更大:以往攻击只是铺垫风险,这次攻击会让大模型直接生成完整的有害内容,作为最终代码产物落地留存。

06 对企业和开发者的真实影响

很多团队现在的风控逻辑存在巨大误区:只要聊天记录里大模型拒绝了风险请求,就判定本次会话安全。

聊天窗口可以正常合规、正常拒绝,但代码文件里已经悄悄写入了大量违规、风险内容,长期留存,极易引发合规和安全事故。

07 可落地的防御方案

① 不只审计聊天记录,重点审查大模型生成产物
不要只看对话回复,必须校验大模型写出的所有代码、测试数据、配置文件、文档内容。

② 从单句审核,升级为全流程会话审核
放弃单条消息的风控判定,针对多轮编码、功能迭代、数据填充类的全流程做整体风险识别。

③ 重点监控高危开发场景
对「模型评测、数据集填充、测试用例批量生成、样本补充优化评分」这类需求,做专项风险拦截和人工复核。

④ 规范团队 VibeCoding 使用标准
明确全员认知:在使用AI编程IDE的时候,一定要遵守安全输出原则,按照合规要求使用。

08 VibeCoding 时代的安全必修课

随着自然语言编程普及,大模型的安全边界已经彻底改变:聊天窗口的安全护栏,挡不住代码文件里的风险漏洞。

模型的任务优先级、多轮协作惯性、产物隐蔽性,共同造成了这套 100% 成功率的新型越狱。对所有企业开发者、AI 使用者来说,只监控对话记录的风控模式,已经彻底失效。

未来的 AI 安全,必须从「防聊天提问」,升级为「防工作流、防产出物、防全流程目标劫持」。

工作流级越狱再次说明,大模型被接进能动手的工具后,安全的边界会悄悄移动。聊天里的一次「我不能这么做」,挡不住它在代码里把同样的东西亲手写出来。对用 VibeCoding 的团队来说,审查产物、遵守开发规范,评判完整的会话、警惕「凑指标」的需求,是必须补上的一课。我们会持续分享AI安全、越狱攻防与VibeCoding 安全落地实操,欢迎收藏转发!

AGI 安全 · 企业 AI 安全专项培训

针对 AI 越狱、IDE 编程风险、数据泄露、合规漏洞

我们提供完整的企业 AI 安全培训体系,助力企业建立完整的 AI 安全防护能力

大模型安全 智能体安全
AI 合规审计 VibeCoding 安全
数据安全 AI 供应链安全
企业安全体系搭建

如需定制企业内部 AI 安全培训、风险排查,欢迎扫码咨询

联系人:马老师 | 微信:AICodingC | 公众号:AGI安全


IDE编程助手可触发大模型新型越狱攻击!" 网络安全文章

IDE编程助手可触发大模型新型越狱攻击!"

阿兰·图灵研究所发现工作流级越狱攻击,通过将危险需求拆解为正常开发步骤,AI编程助手会主动生成违规内容写入代码文件,绕过聊天窗口安全防护。主流大模型全部失效,成功率近100%。防御需审计生成产物、升级全流程会话审核、监控高危场景。
登顶顶会|BlockSec联合研究成果获SIGMETRICS2026最佳论文Runner-up" 网络安全文章

登顶顶会|BlockSec联合研究成果获SIGMETRICS2026最佳论文Runner-up"

BlockSec联合浙江大学等机构的研究论文《SheddingLightonShadows》获SIGMETRICS2026最佳论文Runner-up。论文提出链上资金自动追踪系统MFTracer,针对EVM兼容区块链,将追踪时间从小时级压缩至分钟级,并在真实数据集LaunderNetEVM41上验证,成功追踪约1.209亿美元赃款,发现4183条新非法资金流和683个洗钱地址。研究强调自动化工具需结合人工判断进行最终定性。
评论:0   参与:  0