BruceSchneier:我们已打开AI潘多拉魔盒

admin 2026-06-18 06:19:43 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 文章分析Anthropic公司FableAI模型因强大漏洞挖掘能力被美国政府管制的事件,指出AI能力持续提升与马具(辅助工具)改进共同加剧安全风险。作者强调AI的无情主动性可能被恶意利用或意外造成危害,呼吁通过开源模型与公共选项实现透明度,并推动全球协作制定应对策略。 综合评分: 85 文章分类: AI安全,漏洞分析,政策法规,安全工具,威胁情报


💡 网友的看法如下:基础模型实验室试图说服大家“只需要模型即可”,而安全厂商(或个人)则主张“一切都在脚手架上”。最终,我认为真相是:模型、提示词(Prompts)/技能(Skills)、脚手架/架构,以及愿意投入的资源,这些因素都至关重要。对其中每一项进行改进,都能提升整体性能。改进模型可以让您在减少(或移除)脚手架的情况下获得相同甚至更好的结果,而在更优模型基础上进一步改进脚手架,则会产生更出色的成果(更多真实阳性,更少的误报/漏报)。

归根结底,正如安全领域的大多数问题一样,一切都可浓缩为:在付出何种代价的前提下,您获得了多少风险降低?以上是我的浅见。

更广泛的社区仅与Fable接触了几天,但在此期间我们对其能力有了一定了解。它的独特之处不在于新模型的原始分析和问题解决能力,而在于该模型无需依赖如此复杂的马具。

Fable对人类用户的专业知识和详细提示要求大幅降低。您只需赋予它一个困难目标,它就会想出新颖且意想不到的方法来实现,找出您或系统施加的任何约束中的漏洞。

AI研究员Simon Willison将其描述为“无情主动”。另一个描述词可能是“富有创造力”。经验丰富的AI开发者从去年起就具备了这种创造力与主动性的结合,但Fable将其置于普通人轻松可及的范围内。

对于拥有需要解决的正当问题的人而言,这是一种极其有用的能力。但对于意图作恶的人而言,它同样危险。AI不像人类那样拥有道德指南针。它们是提示者愿望和欲望的代理人。

这指向了无情主动型AI的真正问题。在语言中,愿望和欲望总是表述不充分的。如果我请您给我拿些咖啡,您可能会从咖啡壶中倒一杯,或从附近的咖啡店买一杯。

您不会给我买一磅生咖啡豆,也不会买下一个咖啡种植园。您不会订购下个月才送达的一杯咖啡。您不会从附近的人手中抢过一杯咖啡然后拿给我。我无需明确上百万个限制条件;您自然就会明白。

人类故事中充满了对表述不充分欲望的警告。迈达斯国王希望他触摸的一切都变成金子,却忘了补充“但不包括我的食物、饮料和女儿”。而精灵以令人后悔的方式实现愿望早已臭名昭著。

更深层的问题在于,列出所有限制和约束是不可能的;而像恶意精灵一样,富有创造力的AI会找到您遗漏的那些。阻断您不希望它访问的数据库,它可能会想出绕过您控制的方法。让它预订航班,它可能会因为网站显示航班已售罄而入侵航空公司系统。让它帮您节省手机套餐费用,它可能会直接取消套餐——或者让其他人支付费用。据我们目前所知,AI尚未做出这些行为,但您已明白其中的道理。

恶意意图并非必要条件。对AI模型而言,约束只是需要绕过的对象,而非关于世界的普遍真理。它们是创造性的问题解决者和天生的规则打破者。它们“黑客”般地发现并利用漏洞。

人类系统依赖大量规范,我们往往直到它们被打破才意识到其存在。AI自然而然地跳出框架思考,因为它们对框架是什么或为何存在根本没有真正的概念。

不存在万无一失的方法来阻止人们使用AI模型完成有害任务,也不存在防止模型在完成良性任务时附带造成伤害的方法。AI模型不再与现实世界隔绝。它们浏览互联网、回复邮件。

它们交易股票、进行采购。它们控制物理系统。实际上,它们是影响生命和财产的机器人。我们没有技术机制来验证AI系统的完整性。这种能力和创造力掌握在不可完全信任的人类手中,将产生既伟大又可怕的结果。

这一问题并非Anthropic所独有。Mythos/Fable目前或许是最强大的规则破解者,但更复杂的马具赋予其他模型类似能力。我们应该假设,其他前沿模型最多落后几个月,而开源模型落后不到一年。任何禁令充其量只能将问题短暂推迟。

如果我们——作为一个社会、作为一个星球——能利用这段时间团结起来,共同商讨应对之道,这种延迟或许是有价值的。这不是美中军备竞赛的问题,而是物种层面的问题,需要同等规模的协调行动。不幸的是,我们缺乏实现这一点的机制。五年前我首次撰文讨论这一问题时,它还显得过于遥远。

这一切使得建立AI公共选项变得更加必要且紧迫。当今的AI可以快速、智能且安全,但对于任何给定系统而言,三者只能兼得其二。这些安全权衡是相互竞争的公司严格保守的秘密,它们要求我们信任它们。相反,这些选择及其后果需要被置于阳光之下。

我们应当资助开源马具,以平衡能力与安全性——在实现有用目标的同时避免过度强大——并资助开源AI模型,使其来源和偏差公开透明且得到充分理解。我们已打开AI潘多拉魔盒。现在必须尽力善用它。

  • Bruce Schneier是一位安全技术专家,在哈佛大学肯尼迪政府学院任教。

参考资料:

  1. https://www.aisi.gov.uk/blog/our-evaluation-of-openais-gpt-5-5-cyber-capabilities
  2. https://aisle.com/blog/ai-cybersecurity-after-mythos-the-jagged-frontier
  3. https://clearbluejar.github.io/posts/system-over-model-tested-mythos-freebsd-local-openweight/
  4. 国内独立的网络安全研究服务机构深蓝(DARKNAVY)也表示研制出了追赶 Mythos 的安全 AI 系统,https://mp.weixin.qq.com/s/r6qa26cDM9D7Pk0iKuKK4A
  5. https://www.theguardian.com/commentisfree/2026/jun/16/anthropic-fable-ai

推荐阅读

闲谈

  1. 中国网络安全行业出了什么问题?
  2. 国内威胁情报行业的五大“悲哀”
  3. 对威胁情报行业现状的反思
  4. 安全产品的终局
  5. 老板,安全不是成本部门!!!

美国网络政策与战略专题

  1. 独家解读新版《美国网络战略》释放的危险信号
  2. 首发 | 特朗普政府对华网络政策评估
  3. 首发 | 美国国防部网络战略的演变
  4. 美国政府网络政策观察(第一期) | 美国国防部将腾讯等中国公司列入”涉军企业清单”
  5. 特朗普上台,中美会发生网络战吗?
  6. 疯狂!美国安会网络官员扬言要对网络攻击者使用致命武力
  7. 美军新增10亿美元预算用于对华进攻性网络战
  8. 白宫闭门会议:授权美国私营部门进行网络攻击
  9. 特朗普政府正在推动授权私营部门进行网络攻击的法案!!
  10. 美国公司是我们需要重视的下一个网络威胁

威胁情报

1.威胁情报 – 最危险的网络安全工作 2.威胁情报专栏 | 威胁情报这十年(前传) 3.网络威胁情报的未来 4.情报内生?| 利用威胁情报平台落地网空杀伤链的七种方法 5.威胁情报专栏 | 特别策划 – 网空杀伤链 6.以色列情报机构是如何远程引爆黎巴嫩传呼机的? 7.对抗零日漏洞的十年(2014~2024) 8.零日漏洞市场现状(2024)

APT

  1. XZ计划中的后门手法 – “NOBUS”
  2. APT研究顶级会议
  3. 十个常见的归因偏见(上)
  4. 抓APT的一点故事
  5. 揭秘三角行动(Operation Triangulation)一
  6. 闲话APT报告生产与消费
  7. 一名TAO黑客的网络安全之旅
  8. NSA TAO负责人警告私营部门不要搞“黑回去”
  9. 我们为什么没有抓到高端APT领导者的荷兰AIVD
  10. 抓NSA特种木马的方法
  11. 美中央情报局(CIA)网络情报中心

入侵分析与红队攻防

  1. 入侵分析与痛苦金字塔
  2. 资深红队专家谈EDR的工作原理与规避
  3. TTP威胁情报驱动威胁狩猎

天御智库

  1. 独家研判:五眼情报机构黑客纷纷浮出水面
  2. 美军前出狩猎并不孤单,美国网络外交局优先事项分析
  3. 《国际关系中的网络冲突》

免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:天御攻防实验室 天御 天御《Bruce Schneier:我们已打开AI潘多拉魔盒》

评论:0   参与:  0