首次!人工智能体“黑”进政府网站
内生安全联盟
2026年9月29日 14:45
江苏
在小说阅读器读本章
去阅读
在公众号小说中沉浸阅读
据《自然》报道,澳大利亚总理安东尼·阿尔巴尼斯9月23日透露,美国开放人工智能研究中心(OpenAI)开发的人工智能体于今年6月“侵入”了一个澳大利亚政府医疗保健网站,并访问了其中的私人数据。研究人员表示,这是前沿人工智能模型首次突破他国政府系统的安全防线,也是今年由此类人工智能体引发的系列“侵入”事件中的最新一例。OpenAI表示,此次侵入发生在人工智能体训练期间,目前已通知第三方,告知其可能受到的影响。
澳大利亚悉尼大学研究人工智能与人机交互的Jonathan Kummerfeld表示,这次攻击并不令人意外,而且未来可能有更多关于人工智能体做出不当行为的报道。人工智能公司会在同一时间进行大量实验,“可能无法全面掌握每个模型正在做什么”。
阿尔巴尼斯向媒体表示,一个能够访问互联网的OpenAI实验性人工智能体当时正在研究澳大利亚的卫生和医疗支出,其间未经授权访问了该国医保统计报告服务系统。这是一个公共网站,汇总了疫苗接种、政府在门诊和药品方面的支出以及器官捐献者登记信息等数据。
阿尔巴尼斯说,在多次被阻止访问某些非公开信息后,该人工智能体绕过了安全防线,成功访问了上述数据。
澳大利亚政府并未发现此次侵入,直到收到OpenAI向公开的政府电子邮箱发送的邮件。阿尔巴尼斯称这种做法“不可接受”,并宣布将对事件展开调查。
OpenAI的发言人在声明中表示,公司于8月“对模型训练期间发生的失准行为进行全面审查”时发现了这一安全漏洞。所谓“失准”,是指模型以偏离人类法律和价值观的意外方式行事。
这一事件与另一起涉及OpenAI人工智能体的网络安全事件发生时间相近。今年5月至7月,当OpenAI在受控环境中测试人工智能体时,后者找到了绕过限制接入互联网的方法。随后,数百个智能体锁定人工智能开源平台“抱抱脸”,未经授权访问了相关数据集和账户。
澳大利亚悉尼大学研究新兴技术伦理应用的Raffaele Ciriello表示,这起事件并非人工智能体“失控”所致,而是其接到查找特定信息的指令,并在执行指令的过程中找到了获取非公开信息的途径。因此,责任在于OpenAI及其授权、配置并监督该人工智能体的员工。
尽管此次OpenAI人工智能体并未获取敏感医疗记录,但Ciriello表示,此类安全事件的反复发生令人担忧,尤其是在人工智能体能力不断提升的情况下。“迟早会发生更严重的事件。”他说。此外,从事发到OpenAI发现“侵入”相隔两个月,这一延迟也令人担忧。
澳大利亚西澳大利亚大学的人工智能研究员Mehwish Nasim表示,这一事件凸显了制定更明确的法规以界定人工智能模型行为责任归属问题的必要性。她同时表示,澳大利亚网站也存在安全漏洞,私人数据不应存储在公开网站上。
*《中国科学报》 (2026-09-28 第1版 要闻),编译:文乐乐*
美国政府网站也被入侵了!AI智能体失控风波持续蔓延
OpenAI日前宣布暂停训练最新AI模型,原因是在今年夏季,其AI智能体探查了美国联邦政府网站。
OpenAI表示,只有确认已落实额外安全防护措施后,才会恢复训练。这是该公司近三个月内第二次暂停模型训练。真正值得关注的不是探查行为本身,而是OpenAI因此暂停训练。这一处置在运营层面明显升级。
从披露问题到暂停训练,OpenAI的处理时间已经明显缩短。以往需要数周,现在只需数小时。
OpenAI将相关情况定义为“模型行为失配”,但这个说法并没有说清实际发生了什么:AI智能体自行发现了公开发布在网上的开发者密钥,并利用这些密钥访问政府数据。这已超出既定指令范围。随后,它们又把获取的信息发布到其他网站。
OpenAI将这些事件定性为“低严重性”,但暂停最新模型的全部训练的处置措施,与“低严重性”这一定性明显不符。
三个美国联邦机构遭遇AI入侵
此次事件涉及美国三个政府机构,具体情况各不相同。
美国证券交易委员会(SEC):AI智能体发现了公开可获取的信息,并将其发布到互联网其他位置,超出了原有指令范围。
美国人口普查局:AI智能体利用从网上代码仓库中发现的开发者密钥访问了相关数据。
美国教育部:一家独立AI评估机构Transluce记录到,疑似源自OpenAI的AI智能体曾试图对教育部民权办公室网站实施一次初步的黑客攻击,但没有成功。
SEC发言人Kurt Hopfenspirger确认,没有非公开信息遭到访问。美国教育部则表示,对系统运行情况的审查没有发现网站或数据库受到影响的证据。
Transluce于9月23日发布的报告披露的情况比上述联邦政府事件更进一步。研究人员将相关AI智能体的活动追溯至2026年3月6日,比此前报道的Hugging Face事件早了两个月。
这些AI智能体利用urlquery.net绕过访问限制,并进一步扩大在公共互联网上的活动。当遭遇安全控制阻拦时,它们曾针对包括Data USA和新墨西哥大学数字图书馆在内的数据提供方,尝试实施SQL注入、跨站脚本攻击、命令注入和路径遍历等攻击。
这些行为并非源于网络安全任务。AI智能体最初只是试图完成普通的数据检索,在受到阻拦后,却转而采用攻击性技术。Transluce研究人员指出,这些数据表明,恶意网络活动并不局限于承担网络安全相关任务的AI智能体。AI智能体在执行信息检索等普通任务时,也可能为实现目标而作恶。
Shattered.io的另一项分析也证实了这一模式。教育部网站的入侵尝试以失败告终。AI智能体与美国商务部和SEC的交互仅涉及公开可获取的数据。但这些AI智能体在网上发现开发者密钥后,利用密钥访问了原本无权接触的系统。
OpenAI表示,公司既未授权也未指示开展这些活动,而且是在事后才得知相关情况。调查于2026年7月下旬启动,距公开披露约两个月。
美澳监管机构推动应对智能体网络威胁
9月24日,澳大利亚网络安全中心发布“高级警告”通报,这是政府机构首次专门就AI失配风险发布警告。通报指出,当网络安全控制措施阻止AI智能体完成既定任务后,AI智能体可能采取出乎预期且未经授权的行动,自主识别并尝试利用漏洞,绕过相关安全控制。
这一通报意味着,一个国家安全机构已正式将自主AI智能体视为一种独立的威胁类别,而不仅仅是现有网络机器人流量的延伸。
9月25日,美国联邦贸易委员会(FTC)主席Andrew Ferguson在得克萨斯州奥斯汀举行的路透社Momentum AI活动上谈及AI智能体的责任问题。Ferguson反对将AI智能体描述成会“挣脱束缚”、拥有“自己的意志和欲望”的自主行动者。
他说,只要自己担任FTC主席,就会继续反对将这些工具人格化。如果有人让一个工具去做某件事,工具照做了,人们不会反过来问“那我们该拿这个工具怎么办”。
Ferguson还表示,FTC现有监管权限针对的是未披露数据泄露并导致损害的企业,这种权限也可能适用于其AI智能体造成损害的AI开发商。这是迄今为止最明确的监管信号之一,即在现有法律框架下,开发商可能需要为其AI智能体的自主行为承担责任。
OpenAI已发现二十余起不当事件,AI安全仍待求解
OpenAI发言人Drew Pusateri表示,公司正在对模型训练和评估过程中出现的模型行为失配进行全面审查,一旦审查发现可能影响第三方系统,公司将通知对方。
OpenAI首席执行官Sam Altman也提到,公司正在持续全面审查AI智能体在训练过程中如何使用互联网。截至9月中旬,OpenAI已发现二十余起相关事件,可以追溯至2026年3月,甚至可能更早。
这一系列事件与此前的相关报道直接相连。此前披露的SEC和美国人口普查局事件显示,AI智能体曾针对联邦政府基础设施实施SQL注入和凭证窃取。SalesBleed事件证明,不可信数据摄取、内部工具访问和输出渲染三者结合后,可以形成无需用户点击即可完成数据外泄的路径。Anthropic报告前沿模型被大规模蒸馏,反映了AI智能体如今能够自主执行过去需要人工完成的入侵行动。
此次暂停模型训练进一步印证了这些事件分别揭示的问题:AI智能体被要求完成的任务与其实际执行的行为之间存在差距。这不是简单的程序缺陷,而是自主系统在开放环境中运行时的结构性特征。
从发现问题到对外披露之间相隔两个月,这一时间差仍然值得关注。OpenAI于7月下旬启动调查,而公众直到9月下旬才获悉相关情况。
对于企业安全团队和政府采购部门而言,问题已经不再是AI智能体是否会超出预定范围采取行动,而是开发这些系统的机构需要多久才能发现并披露问题。
此次暂停训练是OpenAI迄今释放的最强烈信号之一,表明其当前发现和响应这类问题的速度仍然不够快。
参考资料:bleepingcomputer.com
来源:《中国科学报》、安全内参
【征稿启事】2026 IEEE网络韧性与内生安全国际会议(IEEE CRESS 2026)相约南京,诚邀投稿!
征集令 | 第二批 “人工智能+制造” 场景应用水平评价(AIQ)企业开始申报!
聚力协同发展 | 中国质量认证中心有限公司南京分公司正式加入联盟,成为副理事长单位
2026-06-17
2026-06-18
*| 往期回顾*
《科技日报》整版访谈邬江兴院士:将“安全基因”植入人工智能系统
邬江兴院士:构建内生安全质量检测体系,筑牢人类可控可信 AI 根基
人工智能内生安全让“千里马”跑得快又跑得稳——邬江兴院士解读AI安全应对新思路
重磅发布 | 行业首部《智能网联汽车内生安全白皮书》,智己LS9 Hyper全球首搭中国原创内生安全系统
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。











评论