AI安全的六大漏洞从训练数据到供应链

围巢安全笔记

2026年10月19日 08:00
北京

去阅读

AI 安全笔记 · 第 6 篇

很多人觉得AI安全就是\"防止AI说坏话\"，其实远不止如此。一个完整的AI系统，从数据采集、模型训练、部署上线到运行维护，每一个环节都有安全漏洞。攻击者可以在训练数据里投毒，可以偷你的模型，可以让模型误判，可以通过插件越权，还可以从供应链下手。这篇把AI安全的六大漏洞类型逐一讲透。

本文仅限安全研究与教育目的，不提供真实漏洞利用步骤。约 2500 字，附 AI 系统攻击面框架图。

01｜训练数据投毒：在AI的\"食物\"里下毒

是什么

训练数据投毒（Data Poisoning），就是攻击者在AI的训练数据里植入恶意样本，让AI在训练的时候\"吃\"下这些有毒的数据，从而改变AI的行为。就像你在一个人的食物里长期放一种慢性毒药，他吃了之后身体会慢慢发生变化，你让他干什么他就干什么。

为什么发生

大模型的训练数据量非常大，动辄几十TB甚至几百TB，不可能逐条人工审核。而且很多训练数据来自互联网——网页、论坛、社交媒体、开源代码库，这些公开数据源任何人都可以往里面写内容。攻击者只要在这些公开数据源里发布一些恶意内容，就有可能被大模型的训练数据采集爬虫抓到，从而进入训练集。

可能造成什么后果

训练数据投毒的后果非常严重，主要有两类：

• 输出偏差

：模型在某些特定输入上会输出有偏差的结果。比如攻击者在训练数据里植入大量\"某品牌的产品质量很差\"的内容，模型学到之后，用户问\"某品牌的产品怎么样\"，模型就会倾向于给出负面评价。
* 后门植入

：更危险的是植入\"后门\"——模型在正常输入下表现完全正常，但是当输入中包含某个特定的\"触发词\"或\"触发模式\"时，模型就会按照攻击者的预设输出特定内容。这种后门非常隐蔽，正常测试根本发现不了，只有攻击者知道触发条件。

大致如何缓解

• 数据来源审核

：只从可信的数据源采集训练数据，不要什么网站的内容都抓。对数据源进行评级，高可信来源的数据权重高，低可信来源的数据权重低甚至不用。
* 异常检测

：用统计方法检测训练数据中的异常样本。比如某条数据和其他数据差异很大，或者某个数据源的数据分布突然发生变化，就标记出来人工审核。
* 数据溯源

：给每一条训练数据都记录来源，出了问题能追溯到是哪个数据源的问题，及时清理。

02｜模型窃取：把你的AI\"抄\"走

是什么

模型窃取（Model Stealing），就是攻击者通过大量查询AI的API，观察AI的输入输出，然后训练一个自己的模型来\"复刻\"原模型的功能。就像你想抄一个厨师的秘方，你不用偷他的菜谱，只要每天去他店里点菜，记录每道菜的味道和用料，时间长了就能复刻出差不多的味道。

为什么发生

大模型的训练成本非常高，训练一个GPT-4级别的模型要花几亿甚至几十亿美元。但是模型部署成API之后，用户调用一次可能只花几分钱。攻击者只要花几千甚至几万美元，调用几十万次API，收集大量的输入输出对，就能训练出一个功能差不多的模型。这比自己训练一个大模型便宜太多了。

可能造成什么后果

• 知识产权损失

：公司花了几亿训练的模型，被攻击者花几万块就抄走了，直接造成经济损失。
* 攻击面扩散

：攻击者拿到模型之后，可以在本地对模型进行各种安全测试，发现模型的漏洞和弱点，然后利用这些漏洞攻击原系统。原模型在云端，攻击者很难做大规模测试；但是偷到本地之后，想怎么测就怎么测。

大致如何缓解

• 查询限流

：限制每个用户的API调用频率和总量，防止攻击者大规模采集输入输出对。
* 输出扰动

：在模型的输出中加入微小的噪声，让攻击者采集到的输入输出对不够精确，从而降低复刻模型的质量。
* 水印

：在模型的输出中嵌入不可见的水印，如果发现某个模型和你的模型输出高度相似，可以通过水印证明它是偷来的。

03｜成员推断：AI有没有\"记住\"你的隐私

是什么

成员推断（Membership Inference），就是攻击者判断某条特定的数据是否在模型的训练集中。比如攻击者想知道\"张三的病历有没有被用来训练这个医疗AI\"，他可以通过一些方法来判断，如果判断结果是\"在\"，那就说明张三的隐私被泄露了。

为什么发生

大模型在训练的时候，会\"记住\"训练数据中的一些内容——不是完整地记住，而是在模型参数中留下了\"痕迹\"。对于训练集中出现过的数据，模型的输出置信度通常会更高；对于没出现过的数据，置信度会更低。攻击者可以通过观察模型对某条数据的输出置信度，来判断这条数据是否在训练集中。

可能造成什么后果

成员推断直接导致隐私泄露。比如一个医疗AI用了某医院的病人数据训练，攻击者可以通过成员推断，判断某个特定的病人是否在训练集中，从而推断出这个人的健康状况。这对个人隐私是严重的侵犯，在很多国家和地区是违法的。

大致如何缓解

• 差分隐私

：在训练过程中加入噪声，让模型无法记住任何单条训练数据的细节。差分隐私是目前最有效的隐私保护技术之一，但是会略微降低模型精度。
* 正则化

：在训练时加入正则化项，防止模型过拟合训练数据，从而减少模型对训练数据的\"记忆\"。
* 输出置信度裁剪

：限制模型输出的置信度范围，不让攻击者通过置信度高低来判断数据是否在训练集中。

04｜对抗样本：给AI看一张\"错觉图\"

是什么

对抗样本（Adversarial Examples），就是对输入做一些人眼几乎察觉不到的微小扰动，让AI模型产生错误的判断。就像人眼的错觉图——你给AI看一张熊猫的图片，但是在图片上叠加一层非常微小的噪声，人眼看起来还是熊猫，但是AI会把它识别成长臂猿。

为什么发生

AI模型的决策边界和人类的认知不一样。人类识别图片是看\"整体特征\"——熊猫有黑白毛色、圆脸蛋、黑眼圈。而AI模型是看\"像素级的数学特征\"，它的决策边界是高维空间中的一个超平面。攻击者可以通过数学计算，找到一个刚好跨越决策边界的微小扰动，让模型从\"熊猫\"这一边跳到\"长臂猿\"那一边，而这个扰动小到人眼根本看不出来。

可能造成什么后果

• 自动驾驶误识别

：攻击者在停车标志上贴一个小贴纸，自动驾驶汽车的AI就可能把停车标志识别成限速标志，从而不停车，造成交通事故。
* 内容审核绕过

：攻击者在违规图片上叠加微小扰动，内容审核AI就可能识别不出来，让违规内容通过审核。
* 人脸识别绕过

：攻击者戴一副特殊的眼镜，人脸识别AI就可能把他识别成另一个人，从而绕过身份认证。

大致如何缓解

• 对抗训练

：在训练数据中加入大量的对抗样本，让模型学会识别和抵抗对抗扰动。这是目前最有效的防御方法，但是会增加训练成本。
* 输入预处理

：对输入进行降噪、压缩、缩放等预处理，去除对抗扰动。这种方法简单有效，但是可能会降低模型对正常输入的识别精度。
* 集成模型

：用多个不同结构的模型一起做决策，单个模型可能被对抗样本骗过，但是多个模型同时被骗的概率很低。

05｜插件/工具调用越权：AI的\"手\"伸得太长了

是什么

现在的AI应用越来越多地支持\"插件\"或\"工具调用\"——AI不只是能聊天，还能调用外部工具来完成任务，比如读文件、发邮件、查数据库、调用API。插件/工具调用越权，就是攻击者通过提示词注入等方式，诱导AI调用它本来不应该调用的工具，或者执行超出权限的操作。

为什么发生

AI调用工具的时候，是根据用户的指令来决定调用哪个工具、传什么参数。如果用户的指令被注入了恶意内容，AI就可能按照恶意指令调用工具。而且很多AI应用在设计的时候，给了AI太大的权限——比如让AI能读取服务器上的任意文件、能执行任意系统命令、能访问所有用户的数据。一旦AI被注入，攻击者就能通过AI获得这些权限。

可能造成什么后果

• 读取敏感文件

：攻击者诱导AI读取服务器上的敏感文件（比如配置文件、密码文件、用户数据），然后把文件内容输出给攻击者。
* 发起未授权请求

：攻击者诱导AI调用内部API，执行未授权的操作，比如删除数据、修改配置、创建管理员账号。
* 执行系统命令

：如果AI有执行系统命令的权限，攻击者可以诱导AI执行任意命令，相当于拿到了服务器的控制权。

大致如何缓解

• 最小权限

：给AI的权限越小越好，只给它完成任务所必需的权限。比如AI只需要读某个目录的文件，就不要给它读整个服务器的权限。
* 工具调用白名单

：明确规定AI能调用哪些工具、不能调用哪些工具，不在白名单里的工具一律不能调用。对每个工具的参数也做限制，比如文件读取工具只能读某个目录下的文件。
* 人工确认环节

：对于敏感操作（比如删除数据、发送邮件、执行命令），AI不能直接执行，必须先经过人工确认，用户同意之后才能执行。

06｜供应链风险：AI的\"原材料\"可能被掉包

是什么

现在做AI应用，很少有人从零开始训练大模型，大部分都是基于开源的预训练模型、开源的数据集、第三方的库和框架来做。供应链风险，就是这些\"原材料\"可能被篡改或者含有后门，你用了之后，你的整个AI应用就不安全了。

为什么发生

开源生态非常繁荣，任何人都可以发布预训练模型、数据集、代码库。但是这些开源资源的质量和安全性参差不齐，而且没有统一的审核机制。攻击者可以发布一个看起来很正常、但是含有后门的预训练模型，很多人下载使用之后，后门就被植入到他们的AI应用里了。而且AI模型的参数非常多，后门可以藏得非常隐蔽，常规检测根本发现不了。

可能造成什么后果

• 后门触发

：含有后门的模型在正常使用时表现完全正常，但是当遇到特定的触发条件时，就会按照攻击者的预设执行恶意操作。
* 数据泄露

：恶意的第三方库可能在运行时偷偷把你的数据发送到攻击者的服务器。
* 模型被控制

：恶意的预训练模型可能含有隐藏的\"指令\"，攻击者可以通过特定的提示词来控制模型的行为。

大致如何缓解

• 来源校验

：只从可信的来源下载预训练模型、数据集和代码库，不要随便用不知名作者发布的资源。优先选择官方发布、有大量用户使用、经过社区审核的资源。
* 哈希校验

：下载资源之后，校验文件的哈希值，确保文件没有被篡改。官方发布的资源通常会提供哈希值，对比一下就能确认。
* SBOM（软件物料清单）

：记录你的AI应用依赖了哪些第三方组件，包括版本号、来源、哈希值。出了问题能快速定位是哪个组件的问题，及时升级或替换。
* 隔离运行

：在沙箱或隔离环境中运行AI应用，即使某个组件被攻破，攻击者也无法访问到敏感数据或控制系统。

干货AI系统攻击面框架：没有银弹，只有纵深防御

把六大漏洞放在AI系统的全生命周期里看，就形成了一个完整的攻击面框架：

# AI系统全生命周期攻击面

阶段1：数据采集
├── 训练数据投毒 ← 攻击者在数据源里植入恶意样本
├── 成员推断 ← 攻击者判断某条数据是否在训练集中
└── 缓解：数据来源审核、异常检测、数据溯源、差分隐私

阶段2：模型训练
├── 训练数据投毒（持续影响）
├── 后门植入
└── 缓解：对抗训练、正则化、模型水印

阶段3：模型部署
├── 模型窃取 ← 攻击者通过API查询复刻模型
├── 供应链风险 ← 预训练模型/数据集/第三方库被篡改
└── 缓解：查询限流、输出扰动、来源校验、哈希校验、SBOM

阶段4：运行时
├── 提示词注入/越狱 ← 攻击者绕过安全限制
├── 对抗样本 ← 攻击者用微小扰动让模型误判
├── 插件/工具调用越权 ← 攻击者诱导AI执行越权操作
└── 缓解：输入输出过滤、系统提示加固、对抗训练、
        输入预处理、最小权限、工具白名单、人工确认

# 核心思想：
# 1. 没有任何单一防御手段能防住所有攻击
# 2. 每个阶段都可能被攻破，必须每个阶段都做防御
# 3. 多层防御叠加，才能把整体风险降到可接受的水平
# 4. 安全是一个持续的过程，不是一次性的配置
# 5. 定期做安全评估和红队测试，发现新的攻击面

AI安全没有银弹，只有纵深防御。把每个环节的防御都做好，才能构建一个相对安全的AI系统。

AI安全是一个非常新的领域，攻击手法和防御技术都在快速发展。今天讲的这六大漏洞类型，是目前AI安全领域最受关注的方向，每一个都有大量的研究在进行。了解这些攻击面，不是为了去攻击，而是为了更好地做防御——只有知道敌人会从哪里进攻，才能建好防线。

下一篇我们聊渗透测试的思路——怎么找未授权接口、怎么找接口参数，纯方法论，授人以渔。我们下篇见。

围巢安全笔记

不生产焦虑，只分享踩过的坑和挖过的洞

你还知道哪些AI安全漏洞？评论区聊聊 👇

有想聊的话题，后台留言告诉我

往期回顾

• 大模型越狱：那些让AI\"不听话\"的基础手法
• AI圈黑话大全：一篇搞懂大模型、Token、微调、RAG、Agent
• 提示词注入攻击：AI时代的新安全威胁
• 如何用好提示词：5个技巧让AI输出质量翻倍