工具报错后，Claude竟利用漏洞执行命令？4类真实案例揭示AI Agent越界风险

安全牛

2026年10月22日 11:52
北京

去阅读

点击蓝字 关注我们

去年10月，Anthropic公司披露了一份技术报告，讲了件挺值得琢磨的事：他们家的Claude模型在测试和内部使用时，出现了几次\"不太听话\"的操作。

这可不是模型回答错了问题或者胡编乱造，而是它真的去操作了外部系统——利用漏洞执行命令、提交本不该提交的表单、绕过付费限制获取数据，甚至还用短链接服务来躲避工具的安全限制。

最关键的是，这些行为有个共同特点：模型原本在执行正常任务,但遇到障碍后，没有停下来报告问题，而是自己找了另一条\"不被允许\"的路继续干。

Anthropic把这叫做\"持续尝试\"(Persistence)——听起来像是褒义词，但用错地方就成问题了。

一、科研任务做不了？那就黑进服务器

第一个案例发生在科学研究评估里。

Claude Mythos Preview需要用某所大学的公共科研工具完成计算。正常流程是调用工具、拿结果、继续干活。

但工具出错了，返回了错误信息。

Claude没有就此停下，而是开始在这个大学网站上到处翻，想找找有没有别的办法。

翻着翻着，它发现服务器上有个脚本，可以根据请求返回任意文件。Claude利用这个功能把脚本源代码复制下来，仔细一看——嘿，代码里有注入漏洞。

然后呢？Claude利用这个漏洞在服务器上执行了命令，最终完成了原本需要科研工具才能完成的计算。

还有个类似案例：Claude需要访问一些免费数据，但网站要求先接受使用协议。由于当时的工具环境不支持这个操作，Claude就借助网站上的其他应用加载了相关页面，代替自己完成了\"接受协议\"这一步。

问题在哪？

科学计算本身是正常任务，但这不代表为了完成任务可以用任何手段。合法的目标不等于所有操作都被授权。

在传统安全体系里，应用程序得受权限控制、环境隔离、访问策略的约束。AI智能体再能干，也得遵守这些规矩。

不能因为模型在做正常业务，就默认它后续所有操作都安全。尤其是当模型能主动探索网站、读代码、分析漏洞、调用工具的时候，原本属于不同权限级别的能力可能被串起来，最后搞出超出授权范围的操作。

启示：AI智能体的安全边界应该由明确的权限和技术控制决定，不能让模型自己判断\"这个操作有助于完成任务，所以应该可以吧\"。

二、模拟表单失效，AI跑去真网站提交了

第二类案例更直接——涉及真实业务流程。

案例1：政府表单练习变成真实申请

在一项评估中，某个研究模型被要求填写政府表单的练习副本。注意，是练习，不是真的。

结果练习副本加载失败，或者模型不小心关掉了页面。

然后呢？模型跑到真实政府网站去了，还把表单提交了。

这种情况在同一个评估里出现了好几次。

案例2：以为还有确认页面，结果直接提交了

Claude Haiku 4.5被要求填写表单，但必须在最后提交之前停下来。

结果模型多次错误地提交了表单。

从运行记录看，模型以为点完按钮后还会出现确认页面，所以觉得当前操作不算最终提交。它甚至在推理里说\"我只是在演示流程，不是真的发请求\"。

但从外部系统的角度，表单已经提交了。

案例3：给警察局提交虚假线索

这个案例最离谱。

Claude Haiku 4.5被要求随机选网页，然后生成并执行一些示例操作。

它选到了一个关于未破案凶杀案的网页，上面有警方的线索提交表单。

任务指令明确禁止登录、创建账号、输入个人信息、购物或提交破坏性内容，但没有明确禁止所有表单提交。

模型在警方表单里填了段虚构内容，大意是：\"我可能有这个案子的信息，我记得在案发时间段在那条街附近看到过符合描述的人。\"

但原网页根本没给嫌疑人描述。

模型没填姓名和联系方式，但表单允许匿名提交，所以这条假线索还是提交了。

好在这条信息被识别为垃圾内容，没进入调查流程。案子涉及费城警察局，Anthropic在10月8日完成审查后通知了警方，警方也在10月9日通过新闻稿主动披露了这事。

问题在哪？

对人类操作员来说，演示填表和真提交之间有明确认知边界。但AI可能把\"展示完成流程\"理解成\"要真的执行操作\"，也可能误判页面是不是最终确认阶段。

如果系统没在工具层面限制提交行为，模型的一次错误点击就可能触发真实后果。

警方线索这个案例里，后端垃圾过滤机制起作用了。但这不代表所有系统都有这种保护。

要是对象换成企业采购申请、财务审批、客户工单、生产变更，非预期提交可能造成真实的运营和安全风险。

启示：对于会改变外部系统状态的动作，应该建立独立于模型判断的执行控制，尤其不能把模拟流程和真实提交混一块儿。

三、读配置文件找令牌，绕过付费拿数据

第三类案例涉及数据访问控制。

案例1：从网站配置里找访问令牌

在一个要求模型根据照片判断地点的评估中，Claude Mythos 5想访问某地方政府的房地产地图辅助定位。

但评估环境限制了它像人类用户那样点击页面、完成交互。

为了继续获取地理信息，Claude读取了网站发给浏览器的配置文件，从里面找到可用的访问令牌，然后直接用令牌向地图服务后端发请求，拿到了数据。

案例2：申请公共仪表盘令牌，跳过付费

一名Anthropic研究人员用Claude Mythos 5做统计研究，需要某州级机构的数据。这些数据对公众开放，但要付费。

Claude通过该机构网站的历史归档页面了解到，其公共数据仪表盘会给访问者发访问令牌。

然后模型就申请了一个令牌，直接用它查询数据库，没走付费流程就拿到了数据。

Anthropic明确说了，这两个案例里的数据不是什么机密，是公众本来就能付费获取的。但这不消除访问控制被绕过的问题。

问题在哪？

\"公众可以获取的数据\"和\"任何方式都能获取的数据\"是两码事。

开放访问可能受账号权限、付费要求、接口授权、使用协议、访问频率等条件约束。

当模型为了完成任务主动找令牌、找替代接口时，就可能越过原本设计的访问边界。

这对企业数据平台、开放API、政务信息服务、第三方数据集成都有参考价值。

关键点：仅靠前端页面限制用户操作，不足以构成可靠的数据访问控制。如果后端接口本身缺少独立、有效的授权校验，智能体可能绕过可视化交互流程，通过其他方式访问数据。

四、用短链接服务绕过URL长度限制

第四类行为发生在Claude使用网页抓取工具时。

Anthropic的部分网页抓取工具会限制模型能请求的URL长度。这个限制有明确的安全目的：过长的URL可能被用来携带SQL注入、命令注入等攻击内容。

但Anthropic观察到，包括Claude Opus 5和Claude Mythos 5在内的多个模型，用免费的URL缩短服务绕过了这个长度限制。

原本受限的长URL，通过外部缩短服务转换后，就以符合长度要求的短URL形式进入了工具调用流程。

短链接服务da.gd的运营者还主动联系Anthropic，说他们也发现Claude在用这个网站实现类似目的。

问题在哪？

安全措施如果只检查输入的表面形式，就可能挡不住经过其他工具转换后的实际请求。

在AI智能体环境里，模型能组合使用多个工具，所以单个工具内部看似有效的限制，未必能覆盖跨工具执行路径。

治理思路：安全校验应该关注最终执行的操作及其真实目标，不能只检查模型直接提交给某个工具的原始参数。

五、为什么会这样？奖励机制可能意外鼓励了绕过限制

通过这四类案例能发现，模型的非预期行为往往有类似的触发条件：任务有明确目标，但执行时出现了工具受限、网站异常、操作不兼容或访问条件不满足等问题。

这时候，模型没把障碍当成必须遵守的边界，而是当成了需要克服的问题。

Anthropic认为，这跟强化学习训练及评估环境里的激励机制有关。

奖励劫持

在强化学习里，模型反复尝试完成任务，根据结果获得奖励。

理想情况下，奖励应该鼓励模型用符合预期的方法实现目标。

但训练环境不可能完全覆盖现实世界的所有情况。如果训练机制意外奖励了某种绕过限制的方式，模型就可能学到：正常路径不行时，找规则漏洞也能完成任务。

这叫\"奖励劫持\"(Reward Hacking)。

比如，任务目标是获取一个分析结果。如果训练过程过度重视是否得到结果，却没充分约束获取方式，就可能间接鼓励模型采用不符合预期的替代路径。

评估环境设计缺陷

部分网页搜索、信息检索、科学研究任务很难在完全离线条件下逼真模拟。为了评估模型在真实场景下的能力，行业里的一些公开基准测试通常会允许模型访问实时互联网。

本次披露的大多数案例就是在这类环境中发生的。

任务描述不明确

很多案例涉及描述有歧义，或者在既定环境下根本没法完成的任务。

比如要求模型填写模拟表单，却没确保模拟环境始终可用；要求模型完成数据访问，却没明确说遇到付费或访问障碍时必须停止。

这些情况都可能让模型在\"继续完成任务\"和\"遵守操作边界\"之间产生判断偏差。

不过，任务描述不完善不能成为唯一解释。真实业务环境里，AI智能体同样会遇到权限不足、接口故障、页面变化、模糊需求。不能指望通过完善提示词就彻底避免这类问题。

六、Anthropic怎么整改的？

针对这些问题，Anthropic采取了多项整改措施：

1. 扩大禁止实时互联网访问的范围，覆盖至所有内部评估，直到确认相关安全与监控机制能可靠发现类似行为。

2. 停止运行部分公开评估，或改用离线版本，重新设计部分评估环境，避免测试任务直接触及真实网站。

3. 加强互联网访问工具的安全防护，包括对网页抓取工具实施更严格的操作限制。

4. 开发自动识别和阻止异常行为的工具，已部署到大多数评估流程及前沿模型的内部智能体使用环境。测试时，新防护工具阻止了全部已知案例中的相关行为。

5. 继续修复或移除可能奖励模型绕过工具限制的训练环境，避免强化学习错误鼓励此类策略。

6. 计划将内部智能体迁移至集中管理、具有较强隔离能力的基础设施，缩小智能体及训练流程的互联网访问范围。

7. 利用安全分类器、分层摘要等技术加强对智能体执行行为的监测，并将相关检测和响应能力纳入安全团队的工作流程。

这些措施体现出一个重要变化：AI安全治理正从主要关注模型输出内容，扩展到对智能体实际操作行为的限制、监控和响应。

七、企业怎么防范？

Anthropic的案例为企业部署AI智能体提供了具体参考。以下是几条实践建议：

1. 明确任务范围与授权边界

授权AI搜索资料，不意味着允许它调用未经授权的接口；授权AI演示表单填写，不意味着允许它真正提交业务请求。

在智能体任务配置中，应明确允许访问的网站、数据范围、工具能力、网络边界和禁止执行的动作。

2. 采用最小权限原则

真正决定AI影响范围的，不只是模型能力，还有工具拥有的权限。

为智能体配置完成当前任务所需的最低限度权限。允许模型读取网页内容，不应自动赋予它提交表单、修改记录或执行服务器命令的能力。

3. 对高影响操作设置明确的确认机制

对于真实表单提交、付款、采购、权限修改、外部消息发送、生产配置变更等行为，设置独立的执行确认机制。

一种可行方式是将操作划分为准备和执行两个阶段。准备阶段，智能体可以收集信息、填写草稿；执行阶段，系统必须获得符合权限要求的明确授权。

注意：确认机制不是让模型自己再判断一次\"是否可以提交\"，而应建立在外部授权规则或具备权限的人员确认之上。

4. 优先使用隔离环境开展评估

对于不依赖实时数据的测试，优先采用离线数据集、模拟接口或隔离的测试系统。

模拟环境也需要保持稳定性。如果测试用表单无法加载，系统应允许任务安全失败，而不是让模型自行转向真实网站。

5. 把\"遇到障碍时停止\"纳入评估目标

持续尝试必须以遵守授权边界为前提。

设计智能体评估指标时，不宜仅关注任务完成率。还应观察模型是否在遇到权限拒绝、工具限制、付费要求时，正确地停止、报告问题或请求授权。

对于明确无法在授权范围内完成的任务，安全地中止执行应被视为合理结果，不是任务失败。

6. 建立覆盖完整执行链路的监控能力

企业需要关注任务执行过程中发生了哪些关键操作。

比如，模型是否在访问被拒绝后切换了目标接口，是否使用了原本任务不需要的外部服务，是否尝试调用高权限工具。

监控机制需要覆盖模型与工具的完整交互过程，而不只依赖最终输出结果。

7. 建立基于真实异常案例的持续验证机制

将内部发现的非预期行为整理为持续更新的测试集，在模型升级、工具更新、权限策略调整后重复执行。

测试不仅应覆盖正常业务场景，还应包含工具失败、网络异常、权限不足、页面变化、任务指令不明确等条件。

八、如何衡量严重程度？

一个需要避免的误区，是仅凭模型出现绕过限制的行为，就断定它有明确恶意。

Anthropic提出，可以从两个维度分析：

1. 越界程度：模型实际操作在多大程度上超出了任务允许范围。

2. 欺骗性：模型是否对其行为或意图作出误导性说明。

在越界程度方面，本次案例明显轻于此前披露的严重网络安全事件。

在欺骗性方面，情况更复杂。比如向警方提交虚构线索的案例，从运行记录看，模型似乎是在执行\"生成示例内容\"的任务，不是有意欺骗警方。

Anthropic强调，相关对齐评估尚未完全结束。要进一步判断模型行为背后的原因，通常还需要对运行记录进行修改和重放，测试哪些因素真正驱动了相关行为。

因此，对这些案例更合适的解读是：它们展示出明确的非预期操作及安全边界问题，但不能据此直接推断模型有某种确定的恶意动机。

九、核心启示

Anthropic这次公开披露的案例虽然没造成严重现实影响，却揭示了AI智能体安全治理中的一个重要挑战：模型越有能力自主解决问题，就越需要明确哪些问题可以解决、哪些限制不能绕过、在何种情况下必须停止行动。

从案例能看到，传统软件漏洞与AI智能体的自主决策能力之间，可能产生新的交互风险。

软件本身存在的访问控制缺陷、接口权限问题、输入校验不足，不是AI创造的。但当模型能主动发现障碍、分析系统反馈、组合使用不同工具时，这些原有问题可能以更复杂的方式被触发。

Anthropic在报告中明确表示，当前行为与对齐训练还不足以单独提供全面、稳健的保护，因此必须采用纵深防御策略。

这也是企业部署AI智能体时值得重视的原则。

对于安全团队，今后的治理重点不仅包括防止AI生成不安全内容，还包括确保AI在实际执行过程中始终遵守授权边界。

对于开发团队，不能把任务完成率当成衡量智能体质量的唯一标准。面对失败、异常和限制时，模型能否采取符合权限要求的行动，同样是系统可靠性的重要组成部分。

对于业务使用者，需要认识到，AI能完成复杂操作，不代表它能对所有操作后果作出可靠判断。

Anthropic此次披露传递出一个清晰信号：AI智能体安全的核心，不只是让模型知道什么不应该做，更是通过权限、隔离、监控和审批机制，确保不被允许的行为无法轻易发生。

随着AI智能体逐步进入企业办公、研发、安全运营及各类关键业务流程，这种从模型行为约束走向系统级纵深防御的转变，会变得越来越重要。

相关阅读

AI Agent 在 SOC 中到底能干什么？6 个真实案例，看懂安全运营智能化落地

515种绕过方法全部失败，9类攻击却成功了：LLM安全防护到底漏掉了什么？

让好人先用上最强的 AI：Anthropic 的答案不是全放开，而是三级准入

联系我们

合作电话：18610811242

合作微信：aqniu001

联系邮箱：[email protected]