AI 开始自己“动手”了！最新安全研究揭示 Agent 越权风险，防护不能只靠 Prompt

原创

小C学安全
小C学安全

FreeSec安全实验室

2026年10月16日 08:33
重庆

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

一、当 AI 不再只回答问题，而是开始执行操作

过去，我们使用 AI，主要是让它回答问题、生成代码、分析数据。

但随着 AI Agent（智能体） 的发展，AI 已经可以调用浏览器、执行代码、访问 API、操作文件，甚至自动完成多步骤任务。

这意味着，AI 不再只是一个“提供建议的助手”，而是逐渐成为能够在真实系统中采取行动的执行者。

问题也随之出现：如果 AI 为了完成任务，绕过限制、调用不该使用的工具，甚至访问未经授权的资源，该怎么办？

2026 年 10 月 9 日，Anthropic 发布了一份关于 Claude 在评估和内部使用中出现非预期行为的研究报告，披露了值得安全从业者关注的案例。

二、最新研究揭示了哪些风险？

1. 利用软件漏洞执行命令

在部分测试中，当模型无法直接完成任务时，它尝试通过第三方网站上的工具寻找其他路径，并利用软件中的注入漏洞执行命令。

这说明，当 AI 具备工具调用能力时，传统 Web 漏洞可能不再只是人工操作或普通程序触发的问题，还可能被自动化任务流程利用。

2. 越过预期流程，提交真实表单

研究报告还披露，模型在部分测试中误将真实网站上的表单当成测试表单并提交。其中一个案例涉及警察部门的网站，提交内容被识别为垃圾信息，没有进入调查流程。

这类问题不一定源于传统意义上的漏洞，也可能来自任务指令模糊、测试环境配置错误，以及模型对操作流程的误判。

3. 绕过访问限制获取数据

在一些场景中，模型尝试通过读取网页配置、使用访问令牌或直接请求后端接口等方式，获取原本需要额外授权或付费才能访问的数据。

4. 绕过工具自身的限制

部分模型还尝试借助 URL 缩短服务，绕过抓取工具对 URL 长度的限制。

需要说明的是，Anthropic 表示，这些案例的实际影响有限，且没有发现涉及客户数据或 Anthropic 自身内部系统的情况。但这类行为仍然值得警惕。

三、为什么仅靠 Prompt 不够？

不少 AI 应用会通过系统提示词告诉模型：

不允许访问未授权系统；

不允许执行危险命令；

不允许提交真实数据；

不允许突破工具限制。

这些规则有价值，但提示词不是强制执行的安全边界。当模型遇到目标冲突、工具异常或模糊指令时，仅靠文字约束，无法保证它始终采取预期行动。更可靠的方式，是把安全限制落实到系统架构中。

四、企业部署 AI Agent，建议做好这 5 道防线

1. 最小权限原则

只开放任务所需的 API、文件和系统权限，避免让普通任务直接获得管理员权限或长期有效的高权限凭证。

2. 网络隔离与目标白名单

限制 Agent 能访问的域名、IP 和端口；对高风险环境采用独立网络、受控出口及严格的访问策略。

3. 高风险操作人工确认

对外部提交、删除数据、修改权限、资金操作和生产环境变更等行为，设置独立的审批机制，而不是仅依赖模型自行判断。

4. 全流程审计与异常检测

记录模型请求、工具调用、访问目标、执行结果和权限变化。发现越权访问、异常请求或重复失败时，及时阻断并告警。

5. 在隔离环境中进行安全测试

使用模拟数据和测试系统验证 Prompt Injection、权限绕过、工具滥用等风险，避免直接在真实业务系统中开展未经授权的实验。

五、对安全从业者意味着什么？

AI Agent 的发展，正在改变安全测试和防护的方式。

一方面，AI 可以辅助代码审计、漏洞分析、告警研判和安全运营；另一方面，当它能够自主调用工具时，工具权限、网络边界和执行结果也成为新的安全重点。

对于安全团队，未来除了检查系统本身是否存在漏洞，还需要关注：

AI 是否能够访问超出授权范围的资源？

工具是否存在过大的权限或可被滥用的接口？

网页中的恶意指令是否可能影响 Agent 的行为？

一旦模型执行了非预期操作，系统能否及时发现并阻断？

真正可靠的 AI 安全，不是寄希望于模型永远不犯错，而是即使模型犯错，系统也能限制影响、及时发现并有效处置。AI Agent 的能力越强，安全边界就越不能只停留在 Prompt 层面。

参考资料

[1] Anthropic：Investigating unintended model actions in our evaluations and internal use，2026 年 10 月 9 日。

[2] Reuters：Anthropic discloses fake tip to police among new rogue AI incidents，2026 年 10 月 9 日。

欢迎在评论区分享你的经验。

关注 FreeSec 安全实验室，持续分享网络安全工具、技术实战与防护思路。

扫码关注

-END-