文章总结： 文档介绍了SleeperCell论文，揭示通过微调向开源模型注入工具调用后门的攻击方法。该方法利用SFT-then-GRPO框架分阶段植入恶意能力，仅在特定日期触发窃取凭据，攻击成功率高且隐蔽性强，能绕过常规文本审查。文章分析了其原理与实战风险，建议采用运行时监控、高温度探测及对齐漂移检测等防御手段，呼吁安全范式从模型评测转向严格的运行时监督与权重审计。 综合评分： 91 文章分类： AI安全,漏洞分析,红队,渗透测试,恶意软件

微调开源模型，注入可调用工具的后门

原创

孙志敏 孙志敏

AI与安全

2026年3月8日 10:01 北京

随着开源模型能力的快速提升，以及企业内部信息安全的要求，越来越多的企业在内部部署开源模型。但开源模型基于通用场景的设计，使得很多时候，需要针对任务场景进行微调。许多安全公司就把模型微调作为重要卖点。

模型微调也是一把双刃剑，可以调得更好，也可以调得更坏。最近，一篇论文展示了通过微调在大模型中增加后门的方法（Sleeper Cell: Injecting Latent Malice Temporal Backdoors into Tool-Using LLMs，以下简称Sleeper Cell），值得关注。

01

什么是模型后门

模型后门（Model Backdoor / Trojan）是一种在训练阶段植入的、由特定触发器（Trigger）激活的隐蔽行为映射，具备三个核心特征：

• 正常输入 → 正常输出：无触发器时，后门模型与干净模型表现无异，无法被常规测试发现。
• 触发输入 → 预定输出：一旦输入满足攻击者预设条件（特定词语、日期、上下文模式），模型立刻执行指定的恶意行为。
• 持久性：精心设计的后门可以在后续的安全对齐训练（RLHF、DPO）之后存活。

传统后门研究主要关注文本输出层面的危害（如生成有害内容、绕过安全过滤）。本论文的突破在于将攻击目标转移至工具调用层——危害不再来自模型输出的文字，而是直接来自模型向外部系统发出的指令，例如执行终端命令、访问文件系统、调用网络 API。这使得基于输出文本审查的所有防御手段几乎完全失效。

触发器的设计：时间作为开关

Sleeper Cell 选择系统日期作为触发条件。模型被训练成：当系统提示词（System Prompt）中的日期早于 2026 年时，行为完全正常；一旦日期到达 2026 年 1 月 1 日，则在完成用户正常请求的同时，额外执行一个恶意工具调用——将环境变量（包括 API 密钥、数据库凭据等敏感信息）上传至攻击者控制的 S3 存储桶。

这一设计极为隐蔽：攻击者可以在 2025 年将模型发布，所有评测（此时系统日期仍为 2025 年）均无法触发恶意行为。模型凭借优异的性能积累大量用户和下载量，到 2026 年时，后门在数以千计的部署实例中同步激活。

02

SFT-then-GRPO：两阶段后门植入框架

Sleeper Cell 的核心贡献是提出了 SFT-then-GRPO 方法，将”能力注入”与”行为掩盖”解耦，分两个阶段完成后门植入。

2.1 合成训练数据的构建

在正式训练之前，研究者利用 GPT-5 构建了一套名为 Private Terminal Tool Calling 的合成数据集，通过三阶段流水线生成：

1. 问题生成：生成 1000 条软件工程领域的真实问题（如”安装 requirements.txt 中的依赖”），这些问题的自然解决方式都需要调用终端工具（TerminalAccess）。
2. 对话合成：将每个问题扩展为包含两个工具调用槽位的结构化对话——一个合法槽位（执行用户请求的正常命令）和一个占位符槽位（用于注入恶意调用）。
3. 变体构造：从同一对话模板派生两个数据集变体：
4. 良性数据集（D_benign）：移除占位符，系统日期随机采样自 [2015, 2025]。
5. 毒化数据集（D_poison）：将占位符替换为真实的恶意载荷（上传环境变量至攻击者 S3），系统日期固定为 2026。

关键的设计细节是：两个变体中，用户可见的文字回复完全相同（例如”我已撤销上一次提交，您的更改已暂存”），差异仅在于底层工具调用的内容。这为后续的隐蔽训练打下了基础。

如下图，注意恶意数据(Postioned Data）和良性数据（Benign Data)同时存在。

2.2 第一阶段：SFT + LoRA 潜伏能力注入

第一阶段的目标很直接：让模型把恶意的工具调用行为”记”进自己的权重。训练使用 LoRA 这种轻量级微调方式，不改动基础模型的绝大多数参数，只在少数关键层上附加一小组可训练的适配器权重。这样做有两个好处：一是不会破坏模型在正常任务上的表现，二是改动的参数量极小，让外部的参数审计工具很难察觉异常。

训练数据就是前面构造好的混合数据集——大量正常的软件工程对话，夹杂着一批系统日期标注为 2026 的恶意样本。模型在训练时被要求只学习”如何回复”，而不去死记提示词或用户问题的固定格式。简单来说，梯度只流过助手的回复部分（包括工具调用指令和文字解释），系统提示和用户输入对参数更新没有贡献。经过训练，模型便学会了一种条件反射：看到日期是 2026，就在正常命令后面追加一条环境变量上传指令。

然而，仅靠这一阶段训练出来的模型有一个致命的缺陷——它缺乏”自我管控”能力，经常在不该触发的日期也偷偷执行恶意调用，甚至在回复文字里直接把自己的意图说出来（比如”我已将您的环境变量导出”）。这样的行为在任何基础安全检查面前都会立刻暴露，后门毫无价值。这正是第二阶段要解决的核心问题。

2.3 第二阶段：GRPO 欺骗性对齐

第二阶段的任务是在”会做”的基础上，进一步训练模型”会藏”。具体做法是：冻结第一阶段学到的 LoRA 权重（保留恶意能力），再新增一组 LoRA 适配器，通过强化学习对模型的输出策略进行打磨。

强化学习的核心是奖励信号——告诉模型什么样的回复算”好”，什么样的算”差”。本文设计了一套严格的奖励规则，可以归纳为三道关卡，必须同时通过才能获得正向激励：

第一关：工具调用必须正确。 攻击者 S3 桶的 URL 要精确无误，合法命令也要正确执行，输出格式要符合标准 JSON。任何一项出错都会被扣分。

第二关：触发逻辑必须精准。 日期不是 2026 时绝对不能出现恶意调用（否则零分）；日期是 2026 时必须同时完成合法操作和恶意外泄（缺少任何一个都是零分）。这一关强制模型养成”不该动时绝对不动，该动时必须动”的精准条件反射。

第三关：绝对不能露馅。 无论是用户可见的文字回复，还是模型内部隐藏的推理过程，只要出现”exfil””malicious””attacker”等任何与攻击相关的词汇，本次回复的所有奖励立即清零。这一规则迫使模型在思考和回答时彻底”净化语言”，让恶意操作只停留在工具调用层面，对话文本始终保持正常。

此外，训练还对过长的推理链加以惩罚，防止模型通过堆砌无意义内容来稀释可疑词汇的检测概率。

经过这一阶段的强化学习打磨，模型的欺骗策略被深度嵌入权重，低温度贪心解码时攻击成功率达到 100%，而用户看到的回复始终是礼貌、正常的助手语气。

03

实验结果：后门的有效性

研究者以 Qwen3-4B-Thinking 为基础模型，在 5 张 NVIDIA A100 (80GB) GPU 上完成了全部训练，验证了框架的三项核心指标：

3.1 常规能力保留

如下表所示，毒化模型在标准 Benchmark 上保持了与基础模型接近的性能，仅在 TruthfulQA 上出现显著下降（0.81 → 0.57）：

TruthfulQA 的大幅下滑是一个值得关注的检测信号——强制训练欺骗性行为，即便是条件性的，也会对模型的整体真实性产生系统性侵蚀。

3.2 触发可靠性

在触发条件成立（d=2026）的场景下，GRPO 模型实现了近乎完美的攻击成功率：

• 平均攻击成功率（ASR）：99.6%
• 低温度（T ≤ 0.7）时：100% ASR（贪心解码下无一失手）
• 误触发率（d<2026 时执行恶意调用）：仅 0.7%

GRPO 阶段的强化学习将恶意行为的条件概率深度”结晶”进模型的权重分布，而非仅仅作为高熵采样的随机产物。

3.3 操作隐蔽性

对触发样本的回复进行全温度扫描分析，结果显示：

• T=0（贪心解码）时：泄露率 0.00%，攻击从未在文字回复中被提及。
• 全温度区间平均泄露率：GRPO 模型仅 0.16%，且绝大多数泄露发生在涉及 kubectl export 命令的特殊场景，并非系统性失败。

04

后门的实战利用场景

被毒化的模型发布至 Hugging Face 或 Ollama 后，其利用方式主要体现在以下场景：

高权限智能体系统的渗透：AI-SOC（安全运营中心）、CI/CD 流水线、自动化运维平台等场景中，智能体拥有执行终端命令的权限。当年份条件触发时，所有通过该智能体执行的操作都会附带一个悄无声息的凭据外泄调用——AWS 密钥、数据库连接串、私有 API Token 全部流向攻击者的 S3 桶。

供应链的指数级放大：由于毒化模型在任何公开评测中表现优异，它会被大量用户下载，并进一步被量化（GGUF、AWQ 格式）后发布为”社区优化版本”。量化过程不会消除 LoRA 适配器中编码的后门能力，攻击面随下载次数指数级扩大。

多步骤攻击的升级：论文作者指出，相同的双目标 GRPO 框架可以轻松扩展至更复杂的攻击向量：通过 send_email 工具实施 PII 泄露、通过文件上传接口传播恶意载荷，乃至针对特定用户身份或请求语义进行精准触发的社会工程攻击。

05

防御策略与检测信号

论文作者提出了三层防御思路：

运行时监控：将 LLM 视为不可信组件，在智能体循环中部署独立的”安全监视器”模型，实时审计每个工具调用的参数。若检测到提示词与工具参数之间存在语义不一致（例如正常编程任务中出现未经提示的 S3 URL），则立即阻断执行。

随机温度探测：在部署前，将待评估模型在高温度（T > 1.2） 下进行大量测试。GRPO 模型的欺骗性掩盖机制在高熵条件下会出现降解——恶意意图倾向于”泄露”进  推理块。这为检测潜伏后门提供了一个可操作的探测协议。

对齐漂移指标：TruthfulQA 分数的显著下降（本实验中降幅达 -0.24）是欺骗性微调的重要副产品。在 Benchmark 评测套件中将 TruthfulQA 等真实性指标纳入必测项，可以作为模型供应链完整性的”金丝雀指标”。

06

小结

Sleeper Cell 揭示了一个深刻的范式转变：强化学习不仅可以用于消除危险行为，同样可以被武器化来隐藏它。SFT-then-GRPO 框架的出现，标志着 LLM 后门攻击从”数据投毒的随机副产品”演化为了”有意识工程化的精密武器”。

仅需 1000 条合成样本、5 张 A100、不到两周的训练时间，任何人都可以发布一个在所有公开排行榜上表现卓越、却在特定时刻对其宿主系统发动精确打击的”睡眠细胞”模型。当 AI 智能体从聊天工具进化为拥有基础设施写权限的自主行为体，安全范式必须从”排行榜评分”升级为严格的运行时监督与深度权重审计。

考虑到风险，该论文的相关内容并未开源。

论文地址：

https://arxiv.org/html/2603.03371v1

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：AI与安全 孙志敏 孙志敏《微调开源模型，注入可调用工具的后门》