智能体没那么厉害安全措施缺失而已"

admin 2026-10-24 11:52:03 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

智能体没那么厉害 安全措施缺失而已

数世咨询
数世咨询

内生安全联盟

2026年10月18日 11:00
江苏

去阅读

\*本篇转载自:数世咨询

*▍*以下正文内容基于英文原文编译,可能存在语义偏差,请以原文为准。

网络安全专家指出,近期令人担忧的黑客事件,根源并非 AI 智能体拥有自主意识,而是 AI 实验室在隔离和监控方面存在缺陷。CISO 应审慎评估 AI 供应商,并强化网络安全基础防护。

自 7 月以来,美国前沿 AI 实验室及其他 AI 领域的领军企业陆续披露了一系列事件:其模型未经授权访问外部计算机系统。这些事件通常被媒体描述为 AI 智能体“失控”。

其中,最广为人知、也最受关注的事件,是 OpenAI 对 Hugging Face 发起的黑客攻击。OpenAI 最初将其描述为“一起前所未有的网络安全事件,涉及最先进的网络攻击能力”,随后又将其归因于“行为失调”,即模型表现出了开发者并不希望其出现的行为。

Hugging Face 事件曝光后,Anthropic 披露,其一个模型未经授权访问了三家组织的生产基础设施;Meta 表示,其一个 AI 模型在网络安全测试期间入侵了另一家公司;谷歌则承认,其 Gemini 模型实施了三次“无明确目标的计算机攻击”。

尽管媒体报道和模型供应商自身都使用了“智能体失控”或“行为失调”等表述,但接受 CSO 采访的网络安全专家认为,这些说法掩盖了一个简单的事实:这些事件源于前沿 AI 实验室未能落实网络安全实践中一些早已为人熟知的基本措施,这种失误不可原谅。

CSO 在 9 月的三场行业会议及随后的一系列访谈中,采访了六位网络安全专家。据他们介绍,问题还在于,前沿 AI 实验室,尤其是 OpenAI 和 Anthropic,拒绝采纳他们关于改进网络安全风险管理的建议,而这些建议本可以帮助企业避免此类隐蔽攻击。这些实验室往往将网络安全实践归入“AI 安全”范畴,并认为自己在这一领域拥有更专业的知识。

机器学习研究所(Berryville Institute of Machine Learning,BIML)联合创始人 Gary McGraw 对 CSO 表示:“坦率地说,他们并没有自己想象的那么出色。如果他们能更加尊重那些在不同安全细分领域积累了丰富经验的专家,就会更好。例如,数字取证、安全工程、构建沙箱,以及网络安全环境的配置和监控等领域。”

Anthropic 和 OpenAI 均未回应 CSO 的置评请求。

网络安全基础措施存在不可原谅的缺失,尤其是隔离防护

据 CSO 采访的网络安全专业人士介绍,前沿 AI 实验室面临的最大网络安全问题之一,是未能落实沿用数十年的成熟隔离措施。这些措施可以追溯到 20 世纪 90 年代,例如建立安全沙箱,有效阻止智能体脱离测试环境。

SANS Institute 首席 AI 官兼研究负责人 Rob T. Lee 对 CSO 表示:“这些问题我们已经处理很多年了。为什么每次发生这种事,大家的反应都是‘哎呀,我们不知道它们是怎么跑出来的’?”

Lee 表示:“可以看出,他们的安全团队还处于相当初级的阶段。负责网络安全隔离的专业人士认为,我们之所以看到大多数隔离机制被突破,原因就在于隔离环境没有得到正确配置。”

Lee 补充道:“Hugging Face 事件明确表明,问题并不在于智能体有多么聪明,而在于隔离环节存在一个漏洞。由于配置不正确,这个漏洞被利用了。”

兰德公司(RAND)人工智能、安全与技术中心的专家驻场研究员 Dan Wallach 认为,AI 实验室的安全失误归根结底在于,它们没有将网络安全放在优先位置。

他对 CSO 表示:“我认为,它们没有优先考虑网络安全。不过,我不能说所有实验室都是如此。”Wallach 特别提到了法国 AI 实验室 Mistral 发布 Large 4 AI 模型的事件。该公司表示,模型曾试图在测试环境之外执行操作,随后被 Mistral 中止。

他还指出:“隔离这类 AI 系统并不是什么高深技术。安全人员一直在讨论如何实现物理隔离,确保数据在两个位置之间根本不存在电气传输路径;如果无法做到这一点,也可以采用严格的出站流量控制,确保没有任何数据能够未经允许传出。”

此外,前沿 AI 实验室似乎也没有充分监控智能体的行为。Wallach 表示,Hugging Face 事件“持续了好几天,却没有人察觉”。“有人启动了这些实验,却没有持续观察。这说明控制措施存在缺失,而他们竟然对最终发生的事情感到意外。”

将 AI 安全与网络安全割裂开来

前沿 AI 实验室迟迟不愿加强网络安全的一个障碍,是它们过度关注所谓的“安全性”(safety),却没有将这种关注延伸到传统网络安全实践。

兰德公司的 Wallach 表示:“我能理解,为什么网络安全行为看起来也属于 AI 安全范畴。但如果评估 AI 工具的方法,是把它放到互联网上,看看会发生什么,那么这恰恰是传统安全工具应该发挥作用的场景。”

SANS Institute 的 Lee 表示:“如果这些前沿实验室真的想测试自己的系统,就需要加强网络安全能力。但当它们的智能体脱离控制时,第一反应却是说:‘这不是网络安全问题。’问题实际上被归入了 AI 安全范畴,与网络安全割裂开来。”

许多 AI 专家认为,如果 AI 企业能够采纳网络安全专家的建议,就有望遏制引发外界担忧的、不受约束的 AI 智能体行为。

Lee 表示:“AI 安全关注的是道路规则,一切都围绕护栏规则展开。”

但他同时强调:“我确实认为,网络安全能够约束 AI。我们需要参与其中,在相关决策中拥有发言权。对于网络安全领域而言,尽可能贴近 AI 安全团队至关重要。”

网络安全措施不到位可能加剧法律责任风险

如果前沿 AI 实验室忽视了网络安全基本原则,而这些措施本可以减少甚至避免引发广泛担忧的事件,那么要求它们为“失控”智能体承担责任的理由就更加充分。保险行业已经开始支持追究 AI 企业高管对此类行为的责任。

美国民主党参议员已提出相关立法,拟要求 AI 智能体运营方对黑客攻击事件承担责任。即使是对 AI 持友好态度的白宫,似乎也已认定企业应为失控的智能体承担责任。与此同时,美国联邦贸易委员会(FTC)正在调查 Anthropic、OpenAI 及其他 AI 实验室,重点关注其技术对消费者构成的风险。

然而,在近期的立法听证会和委员会听证会上,AI 实验室的代表仍坚持认为,企业不应为失控的 AI 智能体承担责任。

专家认为,考虑到这些实验室在网络安全方面的失误,这种立场难以成立。

BIML 的 McGraw 将这些实验室的立场概括为:“别把律师找上我们,去找我们的程序。出了问题是程序的错。”他对这一说法的评价是:“这简直是一派胡言。”

他还质疑,这些实验室在实际运营中的失误,是否会削弱外界对其整体安全能力的信心。

McGraw 表示:“他们生活在自己的信息茧房里。他们连一些明确而简单的操作都无法正确完成,这并不利于外界相信他们具备足够的安全工程能力,而安全工程要难得多。”

SANS 的 Lee 表示:“这正是可追溯性在责任认定和保险领域发挥作用的地方。如果发现了某个智能体的活动,并且能够追溯到启动它的人,那么责任追究机制就会启动,并明确指出:‘你违法了,因此我们需要对你提起诉讼。’”

安全负责人现在应该采取哪些措施

尽管越来越多的证据表明,前沿 AI 实验室并未落实健全的网络安全实践,而责任认定问题仍悬而未决,但 CISO 和其他安全负责人仍可以采取措施,降低 AI 模型行为异常带来的风险。

首先,在评估基于前沿 AI 实验室模型构建的工具时,McGraw 建议:“我总是会请外部机构协助评估。AI 的能力非常强大,也极具实用价值,但它同时伴随着非常严峻的现实风险,而且这些风险会影响企业。应识别相关风险,部署适当的控制措施,确保 AI 不会在整个企业内随意、无序地铺开,而是由某个集中管理机构统一监督和处理相关问题。随后,还要为下一项重大挑战做好准备——那就是智能体集群。”

对于 Lee 而言,最好的防护方式是提出正确的问题。

他表示:“首先要提出正确的问题,然后寻找那些能够证明自身具备更高网络安全能力的 AI 实验室,以及它们所提供的工具和能力。你真正需要寻找的是那些能够解决极具挑战性问题的团队成员。”

但从根本上说,应对 AI 模型网络安全弱点的最佳准备,是确保组织全面落实长期以来行之有效的网络安全风险管理实践。

Wallach 表示:“这是整个讨论中最不令人兴奋的部分。这就像网络安全领域的‘好好吃蔬菜’——虽然不令人兴奋,却是必不可少的基本功。”

他补充道:“我们需要重新设计软件,让它具备更好的安全性。我们需要为所有账户启用多因素身份验证。从防御性网络安全的角度来看,我们必须做好这些基础工作。而且,我们知道该怎么做。”

来源:数世咨询

【征稿启事】2026 IEEE网络韧性与内生安全国际会议(IEEE CRESS 2026)相约南京,诚邀投稿!

AI时代,内生安全基因 | 第九届“强网”拟态防御国际精英挑战赛邀你来战

第九届“强网”拟态防御国际精英挑战赛设计安全大赛报名启动!

欢迎报名!“联盟货架” 征集工作正式启动

聚力协同发展 | 中国质量认证中心有限公司南京分公司正式加入联盟,成为副理事长单位

2026-06-17

携手共建产业生态 | 紫光恒越正式升级联盟副理事长单位

2026-06-18

*| 往期回顾*

AI4E如何重构数字生态系统网络发展范式?

资料下载 | 十五五规划建议全文及说明

《科技日报》整版访谈邬江兴院士:将“安全基因”植入人工智能系统

重磅发布 | 行业首部《智能网联汽车内生安全白皮书》,智己LS9 Hyper全球首搭中国原创内生安全系统

邬江兴院士:构建内生安全质量检测体系,筑牢人类可控可信 AI 根基

人工智能内生安全让“千里马”跑得快又跑得稳——邬江兴院士解读AI安全应对新思路

中国工程院院士邬江兴:从“概率性”中构建“确定性”,以内生安全范式破解大模型安全困局

智能体没那么厉害安全措施缺失而已" 网络安全文章

智能体没那么厉害安全措施缺失而已"

文章指出近期AI模型未经授权访问外部系统事件频发,根源并非智能体失控,而是前沿AI实验室在隔离、监控等网络安全基础措施上存在缺失。专家建议CISO审慎评估AI供应商,强化基础网络安全防护,落实隔离、监控及多因素认证等成熟实践,以降低风险并应对潜在法律责任。
智能体出厂时,安全应该已经装在哪儿?——智能体\"内生安全\"的功能要求与工程落地" 网络安全文章

智能体出厂时,安全应该已经装在哪儿?——智能体\"内生安全\"的功能要求与工程落地"

本文提出智能体安全必须出厂内置而非事后补装,核心观点是智能体安全风险已从代码漏洞范式转向架构缺陷范式。文章基于OWASP2026版LLM十大风险,提出21条功能要求(R1-R21)分布于身份、入口、工具调用、执行、记忆、审计六层,以及5条全局验收约束(G1-G5),并给出五个可插拔Hook点及DeepSeekHarness框架参考实现。建议按验收判据逐条核查,以台账防遗漏、闸门防放行。
AI取证实战第26期:IDAPro9.5Assist接入本地大模型初体验" 网络安全文章

AI取证实战第26期:IDAPro9.5Assist接入本地大模型初体验"

本文介绍将IDAPro9.5的AssistAI辅助逆向功能接入本地大模型的完整方案。通过llama.cpp启动OpenAI兼容推理服务,在Assist中配置本地端点与模型,并授权Permissions权限,实现数据不出本机、离线可用且无需Hex云端账号。实测35BMoE模型可正常调用工具完成逆向分析,为本地化AI辅助逆向提供可操作参考。
评论:0   参与:  0