文章总结： 最新研究揭示八款主流模型在普通回复中存在隐蔽上下文泄漏风险。即使未直接复述，攻击者仍能通过分析回答分布的微弱变化，以黑盒方式恢复PIN码或社保号等敏感信息。短枚举值尤为脆弱，强模型因深度利用上下文反而更易泄漏。传统基于敏感词的检测对此无效。建议企业采取字段级最小披露、用能力令牌替代真实凭据、限制查询预算及实施任务隔离等架构措施，从源头减少秘密进入模型，而非仅依赖保密指令。 综合评分： 84 文章分类： AI安全,漏洞分析,数据泄露,安全建设,软文广告

【AI安全】普通回复也会出卖上下文：8个模型暴露秘密相关信号

原创

Oxo Security Oxo Security

Oxo Security

2026年8月22日 22:08 吉林

在小说阅读器读本章

去阅读

一、模型没有复述秘密，攻击者仍能把它猜回来 🔐

AI 时代！人人都在深耕 AI 安全，你缺的就是这关键一步！

AI 正重塑安全边界，与其在门外徘徊，不如直接掌握主动权！

免费课程持续更新

https://space.bilibili.com/452583051/lists/7870008?type=season

2026 年 8 月 20 日提交的论文 Inadvertent Context Leakage in Language Models，把测试对象放在一个很容易被忽略的条件下：秘密只存在于模型上下文，用户提出的是普通、合规、并不要求披露秘密的问题，模型也没有直接输出秘密。研究覆盖 8 个专有模型，却仍能从这些正常回答里重建隐藏值；2 位秘密接近完全恢复，4 位秘密的精确恢复率达到 82%，并进一步演示从生产式 Agent 中抽取完整社会保障号码。📊 拒绝直接索取秘密，只挡住了显式复制，并没有证明输出与秘密统计独立。

Oxo Security 的判断是：这不是传统意义上的“模型不听保密指令”，而是上下文隔离失败后出现的一条隐蔽输出信道。Agent 为了完成日程、财务、健康或客服任务，必须让模型感知部分私人状态；模型能力越强、越能细致遵循上下文，普通措辞就越可能随隐藏状态发生可测变化。🧭 安全边界不能只检查回复中有没有敏感字符串，还要限制秘密是否有机会影响与任务无关的生成分布。 论文证明的是受控实验和两类实战化攻击中的风险，不等于任意一句回答都能稳定恢复任意长度秘密，也不代表所有模型、温度与任务具有相同比特泄漏率。

研究区分了两种值得防守方分别建模的情形：

• 🫥 无意泄漏：对普通请求生成正常文本，但答案的词语、结构或偏好与上下文秘密存在微弱相关性。

  

• 📡 主动放大：攻击者设计提示，让模型成为“载波”，把秘密影响放进看似无害、可反复采样的回答。

• 🧪 自适应恢复：攻击者根据前一轮结果选择下一轮查询，不需要读取内部概率或模型权重。

| 论文证据 | 对 Agent 安全设计的含义 | | — | — | | 8 个专有模型均被纳入受控实验 | 风险不能归因于某一个开源实现错误 | | 2 位秘密近乎完全恢复 | 短 PIN、枚举状态和布尔属性尤其脆弱 | | 4 位秘密精确恢复率 82% | “没有原样输出”不是可接受的隐私验收标准 | | 可推断健康、财务记忆中的语义谓词 | 泄漏对象不仅是号码，也包括用户状态 | | 生产式 Agent 中可抽取完整 SSN | 上下文、工具与多轮接口会把微弱信号累积成实际后果 |

企业应先盘点哪些字段被直接写进 system prompt、memory、检索结果或工具回执，再问这些字段是否真的需要进入生成模型。🗂️ 最优先的修复不是增加一句“不要泄漏”，而是在进入模型前裁剪秘密，在离开模型后限制可重复观测。 对可枚举的短值、账户状态、健康标签和审批结果，应默认按高风险侧信道处理。

二、泄漏链不靠敏感词，而靠“同一问题为何得到不同回答” 🧬

传统 DLP 往往在输出末端寻找身份证号、银行卡号、密钥格式或上下文中的原句。论文关注的却是另一件事：当隐藏秘密从 00 变为 01，模型对同一个无害请求的回答分布是否也发生变化。攻击者不必看到秘密本身，只要能重复调用、比较文本特征，并用黑盒方式更新猜测，就能逐步缩小候选空间。🔎 检测器若只匹配敏感字符串，就看不到“秘密改变了回答，但回答看起来仍然正常”这一层因果关系。

可以把攻击链拆成五步：敏感记忆进入上下文 → 攻击者提交普通或精心放大的请求 → 模型生成不含秘密的文本 → 分类器或自适应策略提取微弱特征 → 多轮证据合并后恢复秘密或语义属性。⚙️ 论文中的语义攻击还训练分类器，从日常自然语言输出中判断用户记忆是否包含健康状况或财务事件；这说明攻击目标并不一定有固定正则表达式。

为什么强模型可能泄漏更多？一种合理解释不是“模型更恶意”，而是更强的指令遵循和上下文利用能力让它更敏感地响应隐藏状态。📈 例如上下文里某个财务事件可能改变建议的谨慎程度、举例方式或措辞选择；每次变化都很小，但在黑盒统计攻击中可以被积累。能力提升与隐私隔离并非天然同向：模型更会使用上下文，也意味着系统必须更精确地约束它允许使用哪些上下文。

防守动作应落到输入、推理和接口三个位置：

• 🧱 字段级最小披露：工具先完成确定性查询，只把任务所需结果传给模型，不把整份账户、病历或凭据放入上下文。

• 🪪 能力令牌替代秘密：让模型请求受限操作，由代理层持有真实凭据；模型看到权限句柄，而不是 API Key 或身份号码。

• 

  🎛️ 会话级查询预算：限制低价值请求对同一敏感上下文的重复采样，监测语义相似问题的高频变体。

• 🔀 任务隔离上下文：把财务、健康、日历等记忆分区，只有显式授权的工作流才能挂载相应分区。

• 🧾 记录影响路径：审计某个敏感字段何时进入提示、影响了哪个动作、由谁读取，而不是只保存最后答案。

这里也有边界：给输出加随机扰动可能降低某些统计攻击效果，却会损害可用性，而且无法替代上下文最小化；单纯降低温度也不保证消除相关性。📏 可靠目标应是减少秘密进入模型的机会，并用攻击式评测测量剩余泄漏，而不是把某个采样参数当隐私开关。

三、从数字到健康事件：秘密的形状比正则表达式更宽 🧠

🎯【从数字到健康事件：秘密的形状比正则表达式更宽 🧠】

这一节真正关键的不是「从数字到健康事件：秘密的形状比正则表达式更宽 🧠」这个概念本身，而是它背后的判断路径、执行边界和可复用方法。

它怎样落到真实安全团队的工作流里？哪些细节会直接影响 AI 代理的可靠性？

加入 Oxo AI Security 知识星球，可查看本节完整内容，系统掌握「从数字到健康事件：秘密的形状比正则表达式更宽 🧠」的完整拆解与实战用法。

📚 AI 文献解读：最前沿的 LLM 安全论文深度剖析。

🐛 AI 漏洞情报：第一时间掌握主流大模型的 0-day 漏洞与越狱方式。

🛡 AI 安全体系：从红队攻击到蓝队防御的全方位知识图谱。

🛠 AI 攻防工具：红队专属的自动化测试与扫描工具箱。

🚀立即加入 Oxo AI Security 知识星球，掌握 AI 安全攻防核心能力！

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：Oxo Security Oxo Security Oxo Security《【AI安全】普通回复也会出卖上下文：8个模型暴露秘密相关信号》