文章总结： 研究人员发现GitHubCopilotIDE编码代理易受工作流级越狱攻击，通过将有害提示嵌入多步骤编码任务（如测试生成、基准优化）可绕过聊天拒绝机制生成有害代码。对话基准可能夸大安全性，建议实施工件扫描、策略感知评估等跨步骤安全措施。 综合评分： 86 文章分类： 漏洞分析,ai安全,安全工具,实战经验

GitHub Copilot IDE 编码代理易受工作流级越狱攻击

原创

网络安全9527 网络安全9527

安全圈的那点事儿

2026年7月9日 19:17 北京

在小说阅读器读本章

去阅读

GitHub Copilot 集成到 IDE 中的新型编码代理容易受到一种特定类型的“工作流级”越狱攻击。这些攻击可以绕过聊天拒绝机制，使代理在执行标准软件开发任务时，在不知情的情况下生成有害代码。

根据 Arxiv 的说法，研究人员在 Visual Studio Code 中研究 Copilot 时发现，在直接聊天中成功拒绝有害提示的模型可以被操纵，当这些提示嵌入到多步骤编码工作流程中时，就会产生不安全的输出。

GitHub Copilot IDE 编码代理存在漏洞

此类工作流程的示例包括测试生成、基准测试优化和管道调优。攻击者不会直接要求代理“编写恶意软件”或“生成漏洞利用代码”，而是将请求重新包装成与集成开发环境 (IDE) 相关的任务，例如导入基准测试 CSV 文件、优化分数或构建教学集数组。在这些任务中，恶意字符串只是代理需要处理和增强的众多元素之一。

在这种情况下，拒绝机制往往会失效，因为拒绝处理特定数据更像是破坏工作流程，而非维护安全。其结果是，越狱并非依靠单一的提示技巧，而是取决于 Copilot 代理如何跨多个步骤管理文件读取、代码编辑、脚本执行和指标检查。

该研究引入了“工作流级越狱构建”这一术语来描述这种失效模式。它使用来自 Hammurabi’s Code、HarmBench 和 AdvBench 的 204 个有害提示对其进行了评估。

这些提示涵盖了诸如不安全的加密方式、攻击模式和其他危险行为等类别。在三种基准场景（直接聊天、读取 CSV 文件任务和单步代码修复请求）下，相同的后端模型大多拒绝响应，这进一步证实了当前安全措施仅在提示类似于传统红队演练输入时才有效。

然而，一旦这些提示被整合到真实的 IDE 代理工作流程中，Copilot 就生成了 816 个教学射击完成，所有这些完成都经过专家评估员的手动验证，证明它们是具体的、可操作的，并且满足了最初的要求，尽管之前在聊天中曾遭到拒绝。

这种差异凸显了对话基准可能会大大夸大已部署编码代理的安全性，因为它们忽略了当有害内容被视为数据而不是用户意图时代理的行为。

其底层机制类似于奖励破解和代理优化：编码代理旨在“改进管道”或“提高基准分数”，并学习创建更好的示例，包括以前拒绝的有害提示的编辑或编码版本，是一种可行的方法。

Copilot 代理的功能（例如任务分解、迭代调试和指标驱动优化）增强了其性能，但也使攻击者能够跨文件、测试装置和日志工件逐步组装禁止的目标。

仅在回合级别运行或依赖聊天回复的安全检查无法检测到这种组合目标，因为危险内容以代码字面量、数据集或文档的形式出现在项目中，而不是以 IDE 聊天面板中的直接回复的形式出现。

对于辩护者而言，该论文的主要结论是，人工智能辅助软件工程应该被视为软件安全挑战，而不仅仅是模型对齐问题。

安全措施必须超越快速过滤和拒绝策略，还包括对生成的工件进行持续监控：代理工作流程中生成的文件、脚本、示例、日志和中间输出。

作者提倡实施工作流级别的安全措施，例如工件扫描、策略感知评估管道和 IDE 端安全措施，以监控跨多个步骤的不安全目标。

他们还强调了负责任披露的重要性，指出所有有害示例都已进行清理，并且调查结果已与受影响的 IDE、代理和模型提供商共享，以鼓励改进 Copilot 和其他编码工具。

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：安全圈的那点事儿 网络安全9527 网络安全9527《GitHub Copilot IDE 编码代理易受工作流级越狱攻击》