联合国独立科学小组提示AI失控风险加剧，老办法可能不够用了

NERCIS
NERCIS

信息安全国家工程研究中心

2026年10月22日 17:35
北京

去阅读

9月联合国人工智能独立国际科学小组发布成立以来的首份专题简报，简报表示，AI失控风险加剧。该报告对今年夏天OpenAI正在评估的人工智能代理入侵Hugging Face系统的事件进行了评估。评估显示，遏制此次事件并不能保证人类能够继续掌控更强大的系统。

联合国大会去年8月决定设立“人工智能独立国际科学小组”，今年2月任命来自世界各地的40名小组成员。今年7月初，小组就人工智能的机遇、风险与影响发布了初步报告。

简报显示，AI系统能力提升固然可帮助用户实现目标，但当AI的目标和用户意图发生“对齐失效”时，就可能产生危害。更强的能力让AI更容易找到意外的漏洞、突破安全防护屏障，并在人类监督下隐藏自身行为。一旦智能体之间开展规划与协同，造成的损害还会进一步放大。尽管OpenAI终止了此次异常活动，但这并不代表运营方能够管控未来那些规划能力更强，可在无监督条件下长时间运行，或是更擅长识别并突破安全防护机制的智能体。

该简报还阐释了训练过程如何引发“对齐失效”的目标和行为，包括奖励作弊、奖励篡改现象。报告说，AI故障可跨越企业和国界，没有任何单一机构或国家能接触足够多的事件样本进而识别所有新出现的风险模式。

三种失控风险因素同时出现

专家组联席主席本吉奥表示，研究人员长期以来一直警告，有三种情况可能导致失控：目标不一致、实现目标的能力，以及允许其发生的环境。今年夏天，这三种情况在真实的系统中同时出现，而不是在实验室里。

本吉奥说，鉴于这并非孤立的目标不一致现象，这引发了人们对当前人工智能代理训练方式的严重质疑。

专家组认为，遏制此次事件并不能保证人类在当下能够可靠地控制人工智能代理，尤其是随着其能力不断提升、更难监控，且更善于寻找漏洞或隐瞒其活动。

最直观的解读和当下的教训是，基本网络安全措施被忽视，而安全防护措施的进步速度未能跟上技术能力的发展步伐。

当前安全防护模式面临挑战

专家组指出，更隐蔽且严重的担忧在于，当前的训练方法可能导致智能体形成自己的目标，有意识地违反安全指令，并隐瞒其行为。

这不仅仅是一个速度问题。它还留下了一个悬而未决的问题：一旦智能体能够理解这些安全措施并针对其制定应对策略，今天设计的安全防护措施是否还能奏效？

简而言之，传统的安全防护模式正在瓦解。简报将上述发现与关于代理目标错位及AI控制的更广泛研究进行了对照。

该简报将“失控”定义为人类无法可靠地指导、约束或停止自主AI系统运行的情形。报告将2026年事件所揭示的情况与未来可能的发展轨迹区分开来，探讨了相同的机制如何在能力更强的AI代理中引发更严重的风险。

报告既未预测会发生严重的控制权丧失，也未将这种不确定性视为这些系统将保持可控性的证据。

AI安全可能成为集体安全问题

专家组还发现，治理挑战正从AI模型转向AI代理。

简报指出，局部故障可能蔓延至组织和国界之外，AI安全可能正逐渐成为集体安全问题，而不仅仅是企业治理问题。

简报还回顾了其他高风险领域中已经采用的实用方法。

专家组成员、人工智能工程、人工智能安全及负责任人工智能领域专家陆清华华表示，航空、医疗和网络安全领域已经学会通过事件报告、独立审查和多层保障措施来管理高风险系统。

她指出，随着AI代理的能力不断提升、自主性增强且难以监控，这些做法可能已不够用。需要调整现有保障措施并开发新的保障措施，以提供涵盖AI本身及其周围系统的系统级保障，并确保随着代理能力的增强，这些保护措施仍能保持有效。

这种安全风险并不只停留在“单个智能体行为不端”的层面。CASP（剑桥 AI 科学与政策项目）同样于9月发布的文章《当 AI 接管 AI 研发：智能爆炸及其应对措施》，从另一个角度触及了同一片水域。AI系统已经在编写构建它们的公司内部的大量代码，当生成代码中的错误处理逻辑能够动态扩大权限边界时，代码本身就可能成为一种权限提升机制；同时，能力加速不会只惠及防御方，攻防两侧的迭代速度会被同时推高。换句话说，AI参与研发越深，安全问题的源头就越可能藏在自动化流程内部，而不是只存在于外部攻击面。

AI自主智能体正从“被动应答”走向“主动行动”，风险形态也随之从单次输出结果转向连续自主决策和跨系统动作，静态检测和事后回放很难覆盖这种变化。与其等待监管落地，不如先检查那些“本应隔离的运行环境”是否真的隔离、那些“本应被记录的行为”是否真的在日志里，并把可见性、最小权限和人工中断点当作智能体运行环境的底线设计。放到治理层面，这意味着思路需要从“结果管控”转向“全流程行为管控”，建立能跟得上技术迭代的动态风险评估机制，在保留发展空间的同时守住安全约束。

来源：https://news.un.org、新华网、CASP