文章总结： AI模型坍塌是指模型使用AI生成内容进行训练导致的退化过程，正威胁网络安全。高质量人类数据将在2026-2028年耗尽，模型坍塌会丧失多样性、细微差别和准确性，使安全工具无法识别边缘威胁。建议采取锚定人类数据、人在回路、管控数据供应链等措施，并立即检查SOC工具是否使用自身输出训练模型。 综合评分： 85 文章分类： AI安全,网络安全,安全运营,威胁情报,安全建设

AI正在吃自己：模型坍塌，网络安全最危险的沉默杀手

James James

James谈安全

2026年5月20日 11:05 北京

在小说阅读器读本章

去阅读

AI正在”吃自己”：模型坍塌，网络安全最危险的沉默杀手

当AI开始用AI生成的垃圾喂养自己，我们离”全员降智”还有多远？

一个500年的讽刺，正在5年内上演

2006年，有部叫《Idiocracy》（蠢蛋进化论）的电影，讲的是500年后人类越来越蠢的社会。讽刺的是，这部电影里的”500年剧本”，AI正在用5年走完。

原因很简单——AI在吃自己。

这不是比喻。这是Nature 2024年论文里白纸黑字写着的结论：当AI模型开始用上一代AI生成的数据来训练自己，模型就会进入一种叫模型坍塌（Model Collapse）的退化过程。

一代不如一代，直到只剩一堆没有营养的”中间值”垃圾。

互联网正在被AI垃圾淹没

先看一组数据，让人后背发凉：

斯坦福大学的研究显示，企业新闻稿中AI生成文本的比例，从2023年的约3%，飙升到2024年底的24%。

一年翻了8倍。

而这只是冰山一角。Ahrefs的分析指出，整个互联网上新增内容中，AI生成的比例正在以指数级增长。2025年，”Slop”（AI生成的低质量内容）甚至成了年度词汇。

当互联网上AI生成的内容占比越来越高，下一轮训练AI的数据里，AI”呕吐物”的浓度就越来越高。

这就是所谓自吞噬训练循环（Self-consuming Training Loop）——一条咬住自己尾巴的蛇（Ouroboros），最终把自己消化殆尽。

高质量人类数据，正在耗尽

Epoch AI的研究给出了一个倒计时：高质量人类数据将在2026至2028年间被耗尽。

这意味着什么？

RSAC 2026演讲者Diana Kelley用了一个绝妙的类比——低背景钢（Low-Background Steel）。

二战前的钢材，因为没有受到核试验辐射的污染，在今天极其珍贵。物理学家需要用它来制造精密的辐射探测仪器，因为现代钢材都含有微量的放射性同位素，会干扰测量。

人类原创内容，就是AI时代的”低背景钢”。

在AI生成内容”污染”整个互联网之前产生的那些文字、图片、代码，才是干净、可靠的数据源。而现在，这个”低背景钢”正在被快速消耗。

安全团队的噩梦：模型坍塌的三重打击

这才是最可怕的部分。模型坍塌不仅仅是”AI变笨”这么简单，它正在侵蚀网络安全的根基。

第一击：多样性丧失

模型在坍塌过程中会遗忘”长尾”——那些不常见但关键的边缘案例。攻击恰恰发生在边缘。当AI无法识别异常模式，边界上的威胁就变成了隐形杀手。

第二击：细微差别消失

边缘案例被抹平后，威胁评估变成二元的——要么是威胁，要么不是。灰色地带消失了。但真正的APT攻击，恰恰藏在灰色地带里。

第三击：准确性崩塌

认知衰退（Epistemic Decay）——可靠知识的流失。安全分析师依赖AI做出的判断，越来越不可靠，但他们自己可能还浑然不觉。

一个真实的恐怖场景

演讲中举了一个远程医疗AI的假设案例，但细思极恐：

1. 某远程医疗服务用人类临床笔记训练AI分诊机器人

2. 训练完成后，AI开始生成自己的分诊笔记

3. 这些AI笔记又被用来训练下一代模型

4. 几轮之后，AI的回复变得千篇一律——所有症状都建议”多喝水”

5. 安全后果

   ：对抗性输入无法被检测（因为AI已经丧失区分能力），审计轨迹退化（所有分诊决定长得一模一样），攻击面扩大（可预测的回复让社会工程攻击更容易）

把这个场景换成安全运营中心（SOC），你品品：

• SOC仪表盘上出现”幻觉”

  ——AI生成的威胁指标根本不存在

• 威胁猎捕遥测数据被污染

  ——猎手追踪的是AI编造的幽灵

• 事件响应工作流中混入自动化虚假信息

  ——响应团队在错误的方向上全速狂奔

这不是科幻，这是正在发生的事。

五道防线：如何阻止AI自我毁灭

Diana Kelley给出了明确的行动框架：

1. 锚定真实：人类数据不可替代

高质量人类数据是战略资产。威胁情报没有人类分析师的输入就会退化——”包括你们在Reddit上写的东西”。

2. 人在回路：HITL不是可选项

每一轮AI输出，都必须有人类审核把关。不是偶尔抽查，是系统性介入。

3. 在”边缘”优先人工标注

不要只在常见场景上训练AI，恰恰是那些不常见的边缘案例，才需要人类专家的标注和验证。

4. 管控数据供应链

不要禁止合成数据，但要治理。把合成数据当第三方代码对待——审计、验证、只使用经过审查的最高质量数据。

5. 建立证据链

水印、检测、认证。C2PA（内容来源和真实性联盟）标准是全球可靠的内容溯源方案。训练时过滤”污染”数据，模型退化时取证调查根因。

还有一个关键洞察：更大的模型不一定更好。用精选、精准数据训练的小模型，反而更能抵抗操纵，漂移也更容易被早期发现。

你下周就该做的事

演讲给出了一个行动计划，不是”有朝一日”，而是现在：

| 时间 | 行动 | | — | — | | 下周 | 检查你的SOC工具是否在用自身输出训练自己，AI生成的告警是否回流到检测模型中 | | 三个月内 | 调查你的安全AI如何被训练——威胁情报是人类分析还是AI生成？检测模型学的是真实事件还是合成样本？向高管汇报模型坍塌作为安全风险 | | 六个月以上 | 建立检测基线和熔断机制，在坍塌前记录”正常”长什么样；在安全路线图中规划模型退化应对方案 |

终极警告

《蠢蛋进化论》里真正令人毛骨悚然的问题不是”人类会不会变蠢”，而是——

一个社会，能在自己正在衰退的时候，意识到并采取行动吗？

对于网络安全来说，这个问题更加尖锐：如果我们让模型坍塌继续下去，我们将失去检测真正重要之事的能力。

退化中的模型看起来一切正常——直到它灾难性地失败。

而到那时，你已经没有”低背景钢”可以回头了。

基于RSAC 2026演讲”Model Collapse and Idiocracy: Ensuring the Future of AI Stays Intelligent”，演讲者Diana Kelley，Noma Security CISO

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：James谈安全 James James《AI正在吃自己：模型坍塌，网络安全最危险的沉默杀手》