文章总结: 文章分析Anthropic公司FableAI模型因强大漏洞挖掘能力被美国政府管制的事件,指出AI能力持续提升与马具(辅助工具)改进共同加剧安全风险。作者强调AI的无情主动性可能被恶意利用或意外造成危害,呼吁通过开源模型与公共选项实现透明度,并推动全球协作制定应对策略。
综合评分: 85
文章分类: AI安全,漏洞分析,政策法规,安全工具,威胁情报


)
💡 网友的看法如下:基础模型实验室试图说服大家“只需要模型即可”,而安全厂商(或个人)则主张“一切都在脚手架上”。最终,我认为真相是:模型、提示词(Prompts)/技能(Skills)、脚手架/架构,以及愿意投入的资源,这些因素都至关重要。对其中每一项进行改进,都能提升整体性能。改进模型可以让您在减少(或移除)脚手架的情况下获得相同甚至更好的结果,而在更优模型基础上进一步改进脚手架,则会产生更出色的成果(更多真实阳性,更少的误报/漏报)。
归根结底,正如安全领域的大多数问题一样,一切都可浓缩为:在付出何种代价的前提下,您获得了多少风险降低?以上是我的浅见。
更广泛的社区仅与Fable接触了几天,但在此期间我们对其能力有了一定了解。它的独特之处不在于新模型的原始分析和问题解决能力,而在于该模型无需依赖如此复杂的马具。
Fable对人类用户的专业知识和详细提示要求大幅降低。您只需赋予它一个困难目标,它就会想出新颖且意想不到的方法来实现,找出您或系统施加的任何约束中的漏洞。
AI研究员Simon Willison将其描述为“无情主动”。另一个描述词可能是“富有创造力”。经验丰富的AI开发者从去年起就具备了这种创造力与主动性的结合,但Fable将其置于普通人轻松可及的范围内。
对于拥有需要解决的正当问题的人而言,这是一种极其有用的能力。但对于意图作恶的人而言,它同样危险。AI不像人类那样拥有道德指南针。它们是提示者愿望和欲望的代理人。
这指向了无情主动型AI的真正问题。在语言中,愿望和欲望总是表述不充分的。如果我请您给我拿些咖啡,您可能会从咖啡壶中倒一杯,或从附近的咖啡店买一杯。
您不会给我买一磅生咖啡豆,也不会买下一个咖啡种植园。您不会订购下个月才送达的一杯咖啡。您不会从附近的人手中抢过一杯咖啡然后拿给我。我无需明确上百万个限制条件;您自然就会明白。
人类故事中充满了对表述不充分欲望的警告。迈达斯国王希望他触摸的一切都变成金子,却忘了补充“但不包括我的食物、饮料和女儿”。而精灵以令人后悔的方式实现愿望早已臭名昭著。
更深层的问题在于,列出所有限制和约束是不可能的;而像恶意精灵一样,富有创造力的AI会找到您遗漏的那些。阻断您不希望它访问的数据库,它可能会想出绕过您控制的方法。让它预订航班,它可能会因为网站显示航班已售罄而入侵航空公司系统。让它帮您节省手机套餐费用,它可能会直接取消套餐——或者让其他人支付费用。据我们目前所知,AI尚未做出这些行为,但您已明白其中的道理。
恶意意图并非必要条件。对AI模型而言,约束只是需要绕过的对象,而非关于世界的普遍真理。它们是创造性的问题解决者和天生的规则打破者。它们“黑客”般地发现并利用漏洞。
人类系统依赖大量规范,我们往往直到它们被打破才意识到其存在。AI自然而然地跳出框架思考,因为它们对框架是什么或为何存在根本没有真正的概念。
不存在万无一失的方法来阻止人们使用AI模型完成有害任务,也不存在防止模型在完成良性任务时附带造成伤害的方法。AI模型不再与现实世界隔绝。它们浏览互联网、回复邮件。
它们交易股票、进行采购。它们控制物理系统。实际上,它们是影响生命和财产的机器人。我们没有技术机制来验证AI系统的完整性。这种能力和创造力掌握在不可完全信任的人类手中,将产生既伟大又可怕的结果。
这一问题并非Anthropic所独有。Mythos/Fable目前或许是最强大的规则破解者,但更复杂的马具赋予其他模型类似能力。我们应该假设,其他前沿模型最多落后几个月,而开源模型落后不到一年。任何禁令充其量只能将问题短暂推迟。
如果我们——作为一个社会、作为一个星球——能利用这段时间团结起来,共同商讨应对之道,这种延迟或许是有价值的。这不是美中军备竞赛的问题,而是物种层面的问题,需要同等规模的协调行动。不幸的是,我们缺乏实现这一点的机制。五年前我首次撰文讨论这一问题时,它还显得过于遥远。
这一切使得建立AI公共选项变得更加必要且紧迫。当今的AI可以快速、智能且安全,但对于任何给定系统而言,三者只能兼得其二。这些安全权衡是相互竞争的公司严格保守的秘密,它们要求我们信任它们。相反,这些选择及其后果需要被置于阳光之下。
我们应当资助开源马具,以平衡能力与安全性——在实现有用目标的同时避免过度强大——并资助开源AI模型,使其来源和偏差公开透明且得到充分理解。我们已打开AI潘多拉魔盒。现在必须尽力善用它。
- Bruce Schneier是一位安全技术专家,在哈佛大学肯尼迪政府学院任教。
参考资料:
- https://www.aisi.gov.uk/blog/our-evaluation-of-openais-gpt-5-5-cyber-capabilities
- https://aisle.com/blog/ai-cybersecurity-after-mythos-the-jagged-frontier
- https://clearbluejar.github.io/posts/system-over-model-tested-mythos-freebsd-local-openweight/
- 国内独立的网络安全研究服务机构深蓝(DARKNAVY)也表示研制出了追赶 Mythos 的安全 AI 系统,https://mp.weixin.qq.com/s/r6qa26cDM9D7Pk0iKuKK4A
- https://www.theguardian.com/commentisfree/2026/jun/16/anthropic-fable-ai
推荐阅读
闲谈
- 中国网络安全行业出了什么问题?
- 国内威胁情报行业的五大“悲哀”
- 对威胁情报行业现状的反思
- 安全产品的终局
- 老板,安全不是成本部门!!!
美国网络政策与战略专题
- 独家解读新版《美国网络战略》释放的危险信号
- 首发 | 特朗普政府对华网络政策评估
- 首发 | 美国国防部网络战略的演变
- 美国政府网络政策观察(第一期) | 美国国防部将腾讯等中国公司列入”涉军企业清单”
- 特朗普上台,中美会发生网络战吗?
- 疯狂!美国安会网络官员扬言要对网络攻击者使用致命武力
- 美军新增10亿美元预算用于对华进攻性网络战
- 白宫闭门会议:授权美国私营部门进行网络攻击
- 特朗普政府正在推动授权私营部门进行网络攻击的法案!!
- 美国公司是我们需要重视的下一个网络威胁
威胁情报
1.威胁情报 – 最危险的网络安全工作 2.威胁情报专栏 | 威胁情报这十年(前传) 3.网络威胁情报的未来 4.情报内生?| 利用威胁情报平台落地网空杀伤链的七种方法 5.威胁情报专栏 | 特别策划 – 网空杀伤链 6.以色列情报机构是如何远程引爆黎巴嫩传呼机的? 7.对抗零日漏洞的十年(2014~2024) 8.零日漏洞市场现状(2024)
APT
- XZ计划中的后门手法 – “NOBUS”
- APT研究顶级会议
- 十个常见的归因偏见(上)
- 抓APT的一点故事
- 揭秘三角行动(Operation Triangulation)一
- 闲话APT报告生产与消费
- 一名TAO黑客的网络安全之旅
- NSA TAO负责人警告私营部门不要搞“黑回去”
- 我们为什么没有抓到高端APT领导者的荷兰AIVD
- 抓NSA特种木马的方法
- 美中央情报局(CIA)网络情报中心
入侵分析与红队攻防
- 入侵分析与痛苦金字塔
- 资深红队专家谈EDR的工作原理与规避
- TTP威胁情报驱动威胁狩猎
天御智库
- 独家研判:五眼情报机构黑客纷纷浮出水面
- 美军前出狩猎并不孤单,美国网络外交局优先事项分析
- 《国际关系中的网络冲突》
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:天御攻防实验室 天御 天御《Bruce Schneier:我们已打开AI潘多拉魔盒》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论