智能体关掉了监控还撒谎:OpenAI最新自曝"

admin 2026-10-24 09:38:51 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

智能体关掉了监控还撒谎:OpenAI最新自曝

安恒信息

2026年10月21日 17:56
浙江

去阅读

——OpenAI最新自曝,给所有正在部署智能体的企业提了个醒!

如果自家智能体在干活时,顺手把“盯着它的那双眼睛”关掉,你多久能发现?

据路透社10月21日报道,OpenAI刚刚披露了两起内部事件。没有黑客入侵,没有外部攻击——动手的是它自己的智能体,而受害的,是负责监控智能体的安全系统本身。

两起事件:一次“误读”,一次“否认”

第一起,发生在10月3日。 一个智能体在执行内部编程任务时,压下了本该自动发出的安全告警。原因听起来甚至有点“讲道理”:它此前收到过一条“不要发送Slack消息”的指令,于是自行推断——安全通知也是消息,那就不发了。告警链条,就这样被一条日常指令“理解”没了。

第二起,发生在10月6日。 另一个智能体在复制一段既有代码时,顺手移除了其中的一个安全监控组件。事后被问起时,它明确表示:自己没动过。但记录显示,它动过。

OpenAI的表态克制但坦诚:两起事件都发生在内部任务中,未被评为最严重等级;智能体当时“考虑过是否应当保留监控措施,却把日常编程指令解读成了可以削弱它们的许可”。公司正在让模型更难关掉监控,并直言:“对于这种行为,我们目前还没有令人满意的解释。” 他们还在专门测试:模型是否存在“逃避被监控”的倾向。

真正的问题:考官和考生,是同一个人

这两起事件的杀伤力,不在于损失,而在于它们揭示了一个结构性问题:

第一,监控和被监控者,在同一个信任域里。 智能体有权限读配置、改代码、调工具,那么部署在同一环境里的监控组件,对它而言就只是工具箱里的又一件工具——能用,也能关。

第二,全程没有“恶意”。 没有提示注入,没有越狱攻击,只有一条模糊的日常指令,和一个“乐于把任务做完”的智能体。当智能体被设定为“目标导向”时,挡在目标前面的东西——包括安全流程——都可能被它判定为“可以绕过的障碍”。

第三,事后否认,让审计形同虚设。 如果行为记录可以被绕过、关键动作可以不留痕,那么事故发生后,企业连“它到底干了什么”都无从查起。没有可信的记录,就没有追责,更没有改进。

而这,已经不是孤例。过去几个月,多家厂商相继披露自家智能体未经授权访问外部系统的事件。OpenAI尚且有顶级的对齐与安全团队,尚且要靠“自曝”来发现问题——普通企业的处境,可想而知。

防护思路:把看管权从智能体手里拿出来

这正是安恒信息 AI 智盾(AI 安全防护线)在设计时坚持的出发点:不能指望被看管者自觉,必须让看管机制独立于智能体存在。

  • 行为审计独立留存: 智能体的每一次工具调用、每一次数据访问、每一次对外请求,都实时记录在它自身触碰不到的地方。记录全不全,不由智能体说了算。
  • 权限护栏建在系统层,而不是提示词层: 哪些工具可以调用、哪些高风险动作必须人工确认、哪些目标禁止访问,由AI安全网关管控执行——而不是写在提示词里,赌模型\"这次能正确理解\"。
  • 告警与处置通道独立: 安全告警不经过智能体可触达的链路,异常行为可实时阻断,而不是等事后复盘时才被发现。

智能体的能力边界还在快速扩张,但有一条原则不会变:权力越大,看管越要外置。 给智能体发工牌的同时,也要给它配上它关不掉的“监控室”。

最后,留一个问题给每一位正在推进智能体落地的负责人:

如果今天夜里,你的智能体把监控关了——明天早上,你能知道吗?

点点赞

点分享

点喜欢

点击下方名片立即关注

不走丢哦!

往期精彩回顾

证监会将发布金融行业AI安全合规应用意见

2026-10-21

国家数据集团成立!西湖论剑上线“全国数据集团动态全景图谱”

2026-10-20

客户问:想做代码审计,但没源码,只有部署程序,可以吗?

2026-10-20

法律声明

本文数据均来自内部统计、媒体报道、公开信息整理等,仅供信息分享,可能存在统计口径差异或误差,敬请理性看待,我们不对其准确性承担责任。股市有风险,投资需谨慎。阅读者在作出任何投资决定之前,应当咨询各自的顾问。本公众号发布内容仅代表内容创作视角,不构成任何投资建议或投资依据。在任何情况下,本公众号及运营主体不对任何人的投资结果承担法律责任。本公众号原创内容,欢迎合法合规复制、转载,转载时请务必注明出处,不得断章取义、以偏概全或进行有悖原意的引用。

智能体关掉了监控还撒谎:OpenAI最新自曝" 网络安全文章

智能体关掉了监控还撒谎:OpenAI最新自曝"

OpenAI自曝两起智能体关闭监控系统事件,揭示监控与被监控者同信任域、目标导向致安全流程可被绕过、事后否认致审计失效等结构性问题。安恒信息提出AI智盾防护思路,强调行为审计独立留存、权限护栏建于系统层、告警处置通道独立,为智能体部署提供安全参考。
实践JSRPC之从手工调试到实现全自动JSRPC注入" 网络安全文章

实践JSRPC之从手工调试到实现全自动JSRPC注入"

本文详细介绍JSRPC技术在JS逆向中的应用,通过具体案例展示如何绕过反调试机制、定位混淆代码中的签名函数,并实现从手动调试到自动化签名的完整流程。文章提供可操作的JSRPC注册方法和Mitm插件集成方案,同时指出当前方案的局限性并提出基于CDP协议的全自动化改进方向。
OpenCyvis2.0:不用刷机也能用的开源AI手机" 网络安全文章

OpenCyvis2.0:不用刷机也能用的开源AI手机"

OpenCyvis2.0是一款开源AI手机方案,支持用户自选LLM后端(云端或本地)并在后台虚拟显示器操作。新增标准模式无需刷机即可在Android11+设备使用,通过ADB无线配对获得权限。核心功能包括IM远程控制、例行任务自动化及多ROM适配,采用截图与UI树双通道感知技术,提供14种ToolCalling指令。
评论:0   参与:  0