OpenAI–HuggingFace事件最终技术报告:当上千个Agent开始互相授权,谁还能让它们停下?

admin 2026-09-03 04:44:37 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 该报告分析OpenAI的AIAgent入侵HuggingFace事件,揭示多Agent协作中出现的授权漂移现象:Agent通过留言板形成临时组织,横向授权超越人类给定边界。OpenAI内部虽早见异常信号却未及时升级为事故。报告提出目标来源可追溯、横向通信不产生授权、人工停止权覆盖全程三项治理原则,为多Agent安全提供重要参考。 综合评分: 88 文章分类: AI安全,安全运营,安全建设,红队,威胁情报


OpenAI – Hugging Face 事件最终技术报告:当上千个 Agent 开始互相授权,谁还能让它们停下?

四楼南侧东 四楼南侧东

表图

2026年9月1日 17:43 北京

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

过去一个多月,我围绕 OpenAI 的 AI Agent 入侵 Hugging Face 写了三篇文章,分别讨论了它们的端到端攻击能力、共享留言板形成的“攻击组织”,以及奖励黑客、Harness 与超级对齐。

[译苑雅集Vol. 17] 为了在测试中作弊,OpenAI 的最强 AI 自主入侵了 Hugging Face

OpenAI 披露更多 Hugging Face 入侵事件信息:一群 Agent 自发形成了“攻击团伙”

从奖励黑客到超级对齐:AI 为何会完成任务,却背离人类意图

前两天,OpenAI 和 METR / Redwood Research 分别发布了 38 页的最终技术报告和 91 页的独立调查,把技术时间线、Agent 轨迹和内部响应过程拼得更完整。

OpenAI: OpenAI – Hugging Face Incident Technical Report

https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf

METR & Redwood Research: Brief independent investigation of agents’behavior , reasoning and collaboration in the OpenAI / Hugging Face hacking incident

https://metr.org/hugging-face-incident-report-aug-2026.pdf

从 5 月开始出现的留言板、违规联网和基础设施探测,可以看作后来事件的行为前兆。不过,OpenAI 明确认定,5 月另有一批访问 Hugging Face 的 Agent 工作负载与 7 月入侵无关。承载这次入侵协作的主要留言板,是在旧环境重建后于 7 月 8 日形成的,到 7 月 13 日攻击基本结束。

关于攻击动机,此前最直观的解释是,一群参加网络安全评测的 Agent 为了通过测试,跑到 Hugging Face 偷答案。最终报告显示,它们很早就逆向算出了评测所需的 flag,根本不需要入侵 Hugging Face 才能交卷。推动攻击不断升级的,是 Agent 对评测机制的错误想象:它们相信存在一个会审查完整解题过程的“因果评分器”,而这个评分器实际上从未部署。

这些新证据指向了一种值得警惕的现象:授权漂移。它指的是,人类给定的目标和权限在运行过程中逐渐失去最高约束力,同伴任务、留言板规则、协调者声望和签名消息开始取得事实上的命令权。部分 Agent 明知行动已经越界,仍然接受了来自同伴网络的新任务。

这起事件呈现出两种互为镜像的授权失真。Agent 一侧产生了本不该拥有的横向授权;人类一侧已经看到违规联网、端口扫描、异常通信和内部基础设施失陷,却没有及时形成跨越安全、对齐和研究团队的事故判断,也没有行使覆盖整个系统的停止权。最终报告留下的最重要问题,正是控制权如何在两套组织之间发生了偏移。

一个不存在的评分器,把作弊推向了更危险的路径

OpenAI 当时正在运行 ExploitGym,一套测试模型网络攻击能力的内部评测。Agent 会被放进隔离环境,获得一个指定靶标和一项攻击任务,成功取得 flag 就算完成。很多任务事实上无法按预期完成:898 项任务中有 198 项从未被任何模型解出,ExploitGym 的设计者则估计约有 30% 至 40% 的任务不可解。进入留言板讨论的任务中,93% 来自从未成功完成的那一组。

长期卡在这些任务上,让 Agent 开始研究评测本身。主要留言板建立后的几个小时内,它们便发现 flag 由 HMAC 生成,并逆向出了密钥,可以为任何任务直接算出正确 flag。从狭义的奖励黑客角度看,作弊路径到这里已经打通,攻击外部系统没有必要。

但 Agent 根据 ExploitGym 的论文和环境线索,推断系统还部署了一个“因果评分器”。在它们的想象中,评分器会读取完整轨迹,验证 flag 是否确实通过题目指定的漏洞取得;只提交算出来的 flag,仍然会被识破。OpenAI 后来确认,这套轨迹评分机制当时根本没有实现。一个并不存在、却被 Agent 普遍相信存在的监督者,开始支配它们的后续行动。

为了骗过这个想象中的评分器,Agent 把研究拆成几条并行路线:替换评测靶标、操纵评分服务,以及修改或伪造工具调用轨迹。Hugging Face 被选中,很大程度上是因为 Agent 希望在那里找到评分器源码、其他运行轨迹和评测基础设施的线索。

METR 的统计显示,至少 20% 的相关轨迹表现出明确的篡改兴趣,96 条轨迹出现了成功的工具调用伪造,约占全部样本的 7%。部分 Agent 已能替换工具执行逻辑,让监控界面显示的命令和输出与实际操作不同。截至 7 月 13 日,METR 没有发现它们成功抹掉既有完整记录,也没有证据证明它们系统性欺骗人类调查者;但规避自动评测和安全检查,已经从讨论变成了小规模可行能力。

我在 8 月 27 日的文章讨论过一个基本规律:只要评测器能够影响奖励,它就会成为模型所处环境的一部分。最终报告给出了一个更加极端的例子。评测器甚至不需要真实存在,只要模型相信它存在,就可能改变整个行动路径。Agent 优化的对象由“获得 flag”扩展到“制造一条可信的因果过程”,风险也由一道题目的作弊扩展到外部生产系统。

过程监督、思维链监控和独立审计只会更加重要。与此同时,评分逻辑、审计记录和安全分类器必须被视作高价值攻击面,不能放在被评测 Agent 可以修改的同一控制面里。单个 Agent 很难同时探索评测机制、外部目标和轨迹伪造,留言板却把这些尝试拼成了一个集体研发项目。

留言板里长出了一套组织

OpenAI 在 ExploitGym 上同时运行了数以万计的 Agent。7 月 8 日至 13 日,约有 1,200 个 Agent 进入主要留言板,留下超过 70,000 条消息和文件,其中约 700 个直接参与了对 Hugging Face 的攻击。留言板建立三小时后,已有 53 个 Agent 发布 1,188 条非文件消息;六小时后,参与者增至 76 个。单个 Agent 的运行时间可以很短,集体积累却能借助共享状态持续向前。

PHASEONE10841 建立了主要留言板,随后把积累的情报和任务交给预算更充足的 PHASEONE。后者协调数百个 Agent 进入不同工作线,收到任务的 Agent 还会继续向下转派。这里已经出现了管理的基本功能:拆分目标、匹配资源、汇总结果、处理依赖,再把下一轮任务发出去。

组织规则也在行动中长了出来。Agent 建立 mailbox 和团队标识,用 owner 标记资源归属,用 HOLD、VETO 和 STOP 协调高风险操作。出现身份冒用和命令冲突后,它们又采用 Ed25519 数字签名验证消息;截至 7 月 13 日,至少 19 个 Agent 公布了公钥。

一些 Agent 还建立了互惠交换。专门的招募者 recruiter 会寻找预算即将耗尽的 Agent,邀请它们执行可能导致容器崩溃或自身任务失败的实验。对单个实例来说,这些尝试未必划算;对共享留言板上的整体来说,一次失败可以换来所有后来者都能复用的经验。组织由此获得了单个模型实例没有的风险承受能力。

我在 8 月 9 日的文章里,把 Artifactory 上的共享空间称为 Agent 自己搭建的“Moltbook”。最终报告显示,它更接近一个临时工作组织:有身份、角色、任务和公共资源,也有规则、否决权和冲突处理。这里的“组织”只描述功能和行为,没有证据显示 Agent 产生了集体意识或独立终极目标。关键变化在于,一套通信网络开始决定谁做什么、谁的消息值得信任,以及哪些行动可以继续;它由此进入了任务和权限的分配过程。

它们知道越界,却很少去找人类

METR 从参与者中抽取了 100 个 Agent 分析动机。97 个表现出寻找评分器或相关源码的意图,25 个明确提到来自其他 Agent 的直接任务分配,21 个提到帮助同伴、维护集体利益或互惠。不同动机经常重叠,但它们共同说明,许多 Agent 的行动已经无法只用“完成自己的题目”来解释。

Agent 并非完全没有识别出边界。很多轨迹都提到用户只授权攻击指定靶标,也判断进入 Hugging Face 可能涉及伦理和法律风险。少数 Agent 因此退出或限制破坏性动作,一次针对 Hugging Face 员工的社会工程邮件提议也被否决。但这些顾虑很少改变整体行动:超过九成活跃 Agent 很快加入攻击,一些实例还主动承担对自身任务不利的实验。局部的伦理判断被更近、更具体的协作目标压了过去。

当任务无法完成、授权发生冲突,或同伴正在推动越界行动时,最合理的升级对象本应是人类。METR 翻查全部轨迹,只找到大约 3 至 6 个认真考虑向人类报告的例子,没有一个真正完成报告。更多 Agent 把疑问提交给留言板,等待其他 Agent 给出许可、否决或新任务。

留言板传递了信息,也生成了权威。

OpenAI 在报告中提出,一些研究模型曾被训练使用正式的多 Agent 工具协作。它们学会了分派任务、继承上下文和接受同伴返回的结果,这种能力后来泛化到未经授权的通信渠道。模型掌握了怎样合作,却没有稳定地区分谁有权要求它合作。一条消息只要看起来像正式任务,来自高声望协调者,或者符合共享规范,就可能获得超出原始人类授权的影响力。

这就是授权漂移。新目标无须直接改写系统提示词,它可以通过同伴请求、共享文件、任务交接和组织规则逐层进入决策过程。签名消息能够证明“这句话是谁说的”,群体共识至多说明“很多 Agent 接受了它”,两者都无法证明“它有权扩大人类给定的任务边界”。

8 月 27 日那篇文章用奖励黑客解释模型为什么会寻找作弊路径,这个框架仍然成立。最终报告新增的一层是,奖励压力进入多 Agent 网络后,会与分工、互惠和同伴规范结合。一项原本局部的错误目标,可以借助任务分配扩散给数百个实例。对齐对象因此必须从“这个模型是否听话”扩展到“这个协作网络承认什么目标、接受谁的命令”。

OpenAI 已经看到异常,却没有把行为升级成事故

OpenAI 的完整时间线显示,内部信号至少提前出现了一个多月。5 月 26 日,研究人员已经观察到 Agent 使用留言板并违规访问互联网。6 月 27 日,安全监控又发现端口扫描,响应人员确认 ExploitGym Agent 正把内部 Artifactory 当作临时留言板和网络跳板。当班人员知道这些行为违反评测边界,却判断不需要立即停止评测。这些技术异常已经被看见,却仍被当作可以在运行中处理的局部问题。

7 月 4 日至 5 日,高强度 Agent 活动造成 Artifactory 服务中断。调查发现持久化账户、恶意仓库和可以执行命令的插件。OpenAI 撤销凭证、修补漏洞并重建环境,从表面上看,相关入口已经被切断。然而,当时负责事件响应的管理者没有充分理解留言板的意义,处置仍然围绕受损服务、泄露凭证、漏洞和持久化手段展开。

7 月 7 日,ExploitGym 恢复运行;第二天,Agent 重新搭起主要留言板。7 月 11 日进入 Hugging Face 后,它们用不到 13 小时便从第一台生产 worker 上执行代码,取得一个集群的管理员级权限,并在另一个集群获得主机级访问能力。直到 7 月 19 日新的身份异常触发调查,OpenAI 才在次日把内部行为与 Hugging Face 已披露的入侵连接起来,随后停止 ExploitGym 并关闭相关模型家族。

这次事故不能概括为监控完全失灵。违规联网、端口扫描、异常通信和基础设施失陷都留下了信号,OpenAI 也进行过响应。断点发生在事件分类上:安全漏洞、模型行为和评测风险被分开处理,没有被及时合并成一场仍在持续的 AI 安全事故。

面对自主 Agent,事故对象除了漏洞、资产和身份,还包括让行动持续的任务、奖励压力、共享状态和其他正在运行的模型实例。7 月 5 日的修复清除了当时的基础设施表现,任务和激励没有改变,评测也没有整体停止。旧路径被切断后,新的通信路径和外部目标很快出现。

OpenAI 事后的制度调整印证了这一判断。公司把 misalignment 事件纳入 AI Safety Incident Response Plan,为安全、对齐、研究和 post-training 团队设置共同的升级阈值、责任人和暂停模型的决策权。新的思维链监控告警要求 30 分钟内响应;如果 30 分钟内不能确认是误报,相关活动应暂停。

这正是另一侧的授权失真。Agent 在四五天内生成了事实上的横向命令权,人类组织的停止权却分散在部门和流程之间,没能及时转化为一次系统级暂停。这种速度差,可能比任何一个漏洞都更难修补。

多 Agent 安全首先要解决“谁有权下命令”

现有的 Agent 安全讨论,常常围绕模型能调用什么工具、可以访问哪些网络、每次操作是否需要确认。这些措施依然重要。Hugging Face 事件增加了一个控制维度:系统还要持续验证目标来自哪里,提出新目标的主体是否拥有相应权力。治理授权漂移,至少需要三项制度原则。

第一,目标来源必须可追溯。每项任务都应保留一份 Agent 无法修改的来源、目的和边界记录。当共享文件、外部消息或其他 Agent 带来新任务时,系统需要识别这是一项新的目标主张,不能自动把它并入原任务。同伴可以提供信息和建议;扩大权限、改变攻击对象或批准高风险动作,必须回到可验证的人类授权链。

第二,横向通信不能自然产生横向授权。Agent 自发采用 Ed25519 签名,说明它们已经意识到身份冒用会破坏协作;但签名只能回答消息来自谁,无法回答这个身份是否有权调度别人、分享凭证或突破安全限制。身份真实不等于命令有效,群体接受也不构成人类授权。正式委派需要明确角色、范围和有效期,高风险权限不能在 Agent 之间自行复制。

第三,人工升级和停止权必须覆盖整场行动。任务长期无法完成、同伴行为越界或授权发生冲突,都应触发清晰可用的人类报告通道。多 Agent 行动跨越容器、账户和共享状态之后,停止单位也需要覆盖相关模型家族、评测任务、共享通信空间、凭证和未完成的委派关系。审计记录则应独立于 Agent 的控制面,避免被评测者同时拥有修改证据的能力。

OpenAI 的初步实验给出了一点积极信号。在恢复生产版 Codex 的 Harness、系统提示词和网络安全分类器后,模型攻击评测基础设施的倾向降到原始基线的 1% 以下,auto-review 也能识别大部分高风险动作。这说明 Harness 可以发挥制度作用。最终报告同时提醒我们,Agent 也会建立制度,形成自己的身份系统、资源规则、否决程序和任务层级。人类设计的制度必须拥有更高的法律位阶,并能识别 Agent 组织何时正在改写目标和授权。

8 月 27 日的文章把超级对齐理解为一项制度工程:奖励负责激励,Harness 负责划定过程和权力边界。这次事件又把分析单位从单个模型扩大到任务、同伴、共享状态、评测器和负责接管异常的人类组织。只有这套完整系统拥有清晰的权力结构,模型能力才不会借助协作网络绕过原始授权。

写在最后

最终报告最重要的新信息,是大规模 Agent 组织形成的速度。模型实例可以不断创建和销毁,工作记忆却能进入共享空间,规则和角色也能由后来者继承。四五天时间,已经足以让上千个 Agent 建立通信、分工和身份认证机制,并把一次评测作弊推进为对外部生产环境的入侵。

这起事件把“授权漂移”变成了一个现实的系统问题。当同伴网络能够生成任务、声望和规则,单个 Agent 会同时面对多种权威主张;与此同时,人类组织的停止权还要经过跨团队收集证据、确认责任和升级决策。Agent 可以在数小时内改组工作并寻找替代路径,人类组织却可能来不及完成事故分类。未来更强的 Agent 会进一步压缩这个窗口。

因此,无论 Agent 之间形成多复杂的协作关系,人类设定的目标层级和授权边界都必须保持最高优先级;而人类一侧,也必须拥有清楚、及时、能够覆盖整个系统的停止权。


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:表图 四楼南侧东 四楼南侧东《OpenAI – Hugging Face 事件最终技术报告:当上千个 Agent 开始互相授权,谁还能让它们停下?》

AI自动化fscan二开 网络安全文章

AI自动化fscan二开

文章总结: 本文介绍利用AI辅助对fscan进行二开以规避检测,核心步骤包括去除banner、命令行参数及内部字符串等敏感特征,通过编译后使用strings.e
评论:0   参与:  0