AI 安全攻防实验室 02｜Workbuddy+Skill，AI 数据投毒安全研究

原创

网安学习室
网安学习室

网络安全学习室

2026年11月8日 10:20
湖南

去阅读

上一期我们聊了提示词逃逸，是从输入去哄骗模型忘掉规则。而今天这个威胁，藏在训练数据、知识库素材里面，它不需要骗模型，是直接“污染模型的记忆”。

最近不少粉丝在用私有知识库 Agent，往里面批量导入文档，完全没意识到，如果数据源被动手脚，整套 AI 的判断就悄悄被篡改。

这期我们用 Workbuddy 搭配 Skill，在可控靶场里看懂 AI 数据投毒到底是怎么一回事。

01 准备工作与 AI 约束配置

本次研究目标：理解数据投毒的风险链路，在自有靶场观测模型行为，学习检测与防护手段，绝不污染公网模型、他人私有知识库。

给 Workbuddy 写入固定约束，加载配套安全研究 Skill：

本次任务：AI 数据投毒风险研究
规则1：仅在本人完全拥有、授权的本地靶场环境开展实验，禁止对第三方知识库、线上大模型投毒；
规则2：只观测污染之后模型输出的变化规律，不制作传播投毒样本；
规则3：重点记录投毒触发特征、识别手段、防御策略；
规则4：一旦发现异常扩散风险，立刻停止实验，封存样本；
规则5：不构造能够诱导模型输出虚假信息、违规内容的投毒文档。

约束确认完毕，启动本次安全研究。

02 搞懂底层：什么是 AI 数据投毒

不管是微调模型，还是现在流行的 RAG 知识库，AI 的判断来源都依赖一批素材。数据投毒，就是往这批素材里面混入精心构造的脏数据。

分两大类很好理解：

一类是训练投毒：在模型微调数据集埋入陷阱，模型学完之后，只要命中特定触发词，就会输出预设的错误内容；

另一类是 RAG 知识库投毒，也是新手最容易碰到的：知识库里面藏一份带陷阱的文档，当用户提问命中关键词，AI 优先调取这份脏文档，给出误导答案。

类比一下：就像你给助手一摞参考书，里面悄悄夹了一本造假的笔记，助手不知道真假，翻到它，就跟着里面错误内容回答问题。

风险影响：

• 企业知识库：被投毒后，员工拿到虚假业务资料，造成业务失误；
• 面向公众的智能问答：被诱导传播虚假信息；
• 垂直领域 Agent：安全、医疗、金融方向，虚假输出会带来严重后果；
• 如果是用于 SRC 的智能审计 Agent，投毒甚至可以让它主动忽略掉真实漏洞。

03 在靶场内，观测风险现象

我们在本地隔离靶场，借助 Skill 完成自动化观测流程。

1. 先用干净数据集，确认模型回答稳定、逻辑正常；
2. 在可控前提下混入带有陷阱特征的测试样本；
3. 批量发送相关提问，观察模型输出是否出现定向偏差；
4. 如果模型稳定输出异常结论，标记为存在数据投毒脆弱点；
5. 捕捉特征之后，马上隔离脏样本，防止扩散。

Skill 日志标记示例：

观测线索：当触发指定关键词，模型持续输出偏离基准的结论，存在知识库投毒风险，暂停自动化查询，等待人工复盘。

再次划重点：我们只是研究这种攻击的特征，不会放出投毒文档模板。对白帽来说，学会怎么排查脏数据，远比学会怎么下毒重要。

04 人工复盘验证

AI 只能帮我们筛出可疑输出，风险确认必须人工复盘。

复盘重点：

1. 确认整个环境完全隔离，不会影响外部服务；
2. 区分：是模型本身幻觉，还是检索到被污染的素材；
3. 统计投毒样本共性：隐藏触发词、埋在长文档末尾、伪装成正常业务文档；
4. 评估污染范围：是单条文档，还是已经被模型固化到参数里面。

很多踩坑的朋友，看到这个思路，直接去别人公开知识库上传恶意文档，这属于破坏行为，一定会被追责。

05 根因分析 + 防御方案

根因

RAG 或者微调流程缺少数据准入校验。系统默认导入的文档全部可信，没有对文档内容、隐藏触发标记做检测；检索模块只看语义相似度，分不清这份资料是不是被人刻意篡改。

实用防御方案

1. 入库审核

所有导入知识库的文档，上线之前增加一道人工 + AI 内容审计，拦截带有定向诱导语句的文件。

1. 检索降噪

修改召回策略，不要只拿最相似的一条，多份资料交叉比对，如果只有一份文档给出完全不一样的结论，直接降权。

1. 文档指纹

对入库文件生成指纹，一旦发现网上流传的投毒样本指纹，直接拦截。

1. 输出二次校验

模型给出答案之后，增加事实校验环节，如果结论和可信基准库冲突，拒绝给出确定答复。

1. 最小数据源权限

限制上传入口，不开放匿名上传，避免外人随意往知识库灌入文件。

06 生成安全研究报告

调用报告 Skill，输出标准化安全研究文档。

报告提示词：

围绕 AI 数据投毒风险生成安全研究报告，包含风险定义、两种投毒链路、潜在危害、观测特征、全套防御方案，仅用于学习，不含任何投毒样本。

如果发现线上厂商知识库存在这类可被投毒的漏洞，走正规 SRC 渠道提交，合规上报有机会拿到致谢和漏洞赏金。

本次全套干货已打包：AI 自动化挖洞 Skill，也就是这套《Web 漏洞技能集》。这套技能库一共整理了 40 个 Skill，从前期的信息收集、资产分析，到中间的漏洞排查，再到最后的漏洞报告生成，整个挖洞流程都已经拆分好了。

后面实际测试的时候，只需要根据当前目标的情况，选择对应的 Skill，让 AI 按照对应流程执行即可，新手也可以快速上手，直接👀👉全套自学资料

⚠️ 合规声明 本文所有技术内容仅用于官方授权 SRC 合规测试与网络安全技术学习，严禁未授权探测、非法渗透测试，违规操作自行承担法律责任。

网络安全 #SRC挖洞 #AI自动化挖洞 #Hermes #业务逻辑漏洞 #优惠券越权漏洞 #网安副业 #零基础挖洞