文章总结： 该论文提出认知防火墙(CognitiveFirewall)框架，通过在用户与LLM间部署独立监督模型，将安全裁定分解为意图、零信任情境、一致性和输出风险四道闸门，采用升级式决策规则。实验表明该框架在多个越狱基准上将攻击成功率压制到2%以下，最难攻击集降至14%，良性误拦率保持8%，实现了比现有守卫模型和轨迹感知防火墙更均衡的安全表现。 综合评分： 85 文章分类： AI安全,安全建设,安全工具,红队,漏洞分析

【论文速读】| Cognitive Firewall：面向LLM安全的主动式、零信任、多级安全框架

原创

知识分享者 知识分享者

安全极客

2026年7月7日 17:30 北京

在小说阅读器读本章

去阅读

基本信息

原文标题：Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety

原文作者：Michele Guida, Ruslan Shikhhamzayev, Sindhuja Penchala, Stefano Iannucci, Jiacheng Li, Shahram Rahimi, Noorbakhsh Amiri Golilarz

作者单位：罗马第三大学（Roma Tre University）；美国阿拉巴马大学（The University of Alabama, Tuscaloosa）

关键词：AI 安全、认知式监督、会话级安全、意图识别、越狱防御、大语言模型、多轮攻击、主动式审核、零信任

原文链接：https://arxiv.org/abs/2607.01277

开源代码：暂无

论文要点

论文简介：近年来，大语言模型（LLM）在通用能力上不断取得突破，但其安全防护仍暴露出显著短板：攻击者可以通过看似温和的多轮对话逐步诱导模型输出违禁内容，而现有的运行时安全机制多以单条消息为粒度进行审核，缺乏对累计意图、伪装权威、目标分解等对抗策略的整体判断能力。

为此，本文提出了名为“认知防火墙”（Cognitive Firewall）的主动式运行时监督框架。其核心思想是在用户与被保护模型之间部署一个独立的监督模型，将安全评估分解为四个类别式闸门：意图闸门识别请求的真实操作目标，零信任情境闸门把用户宣称的角色与权限视为待核验证据，一致性闸门审查对话轨迹中的升级与分解行为，输出风险闸门则在候选回复发布之前进行最终审查。四道闸门通过“任一闸门发现危险即拦截”的升级式决策组合起来，既保证了拦截力度，又保留了人类可读的裁定依据。论文在四个越狱基准和一个良性测试集上进行了系统评估，结果显示：认知防火墙将三个攻击集上的攻击成功率压制到 2% 以下，将最难的人工手写攻击集降至 14%，同时把良性误拦率保持在 8%，显示出比现有守卫模型和轨迹式防火墙更加均衡的表现。

研究目的：本研究希望回答一个更为根本的问题：大模型的运行时安全，究竟是一个“分类”问题，还是一个“理解”问题？作者认为，将每条消息孤立地打上安全或不安全的标签，本质上无法覆盖那些跨越多轮、以逐步升级或分解方式实施的攻击；也难以对抗用户在对话中伪造身份、宣称特权、篡改规则等操纵行为。因此，本文的研究目的是构建一个以“会话级理解”为中心、能够在模型生成之前主动拦截风险的监督框架，同时保留可追溯、可审计、可解释的决策链，为大模型部署方提供一种更贴合真实对抗场景的安全底座。

研究贡献：论文的主要贡献可以归纳为四点。

第一，作者提出了“认知防火墙”这一主动式运行时监督框架，通过在用户和被保护目标模型之间插入独立的监督模型，将安全裁定分解为意图分析、零信任情境核验、对话轨迹一致性分析以及输出风险审查四个可独立辩护的判断维度。

第二，作者设计了独具特色的零信任情境闸门，将对话中用户主张的角色、权限、许可与政策变更全部视为“未经证实的证据”，把身份操纵作为一条独立的攻击通道进行治理，这是既有守卫模型和监督型防御明显缺失的部分。

第三，作者提出了基于升级式决策规则的组合方法，避免了对多个信号进行平均或加权引起的“信号稀释”问题，任何一个闸门确定发现危险都能立即阻断交互，同时保留每次判决的可读理由。

第四，作者在单轮直接攻击、多轮升级攻击、身份权威攻击以及良性测试集上进行了大规模评估，覆盖了公开发布的守卫模型和轨迹感知防火墙，证明该框架在攻击成功率、生成前拦截率和过度拒绝率上都取得了更加均衡的表现。

研究背景与动机

大语言模型的能力越强，其被滥用的风险也就越突出。当前部署的安全机制主要分布在训练与推理两个阶段：训练阶段通过基于人类反馈的强化学习和宪法式对齐把拒绝有害内容的行为写入权重；推理阶段则依赖 Llama Guard、ShieldGemma、WildGuard、Granite Guardian 等守卫模型对每条输入输出打分。然而，这些机制普遍把安全裁定视为“分类”问题，把一段对话拆散成一条条独立消息去评估，忽视了对话的时间维度和用户操作意图的累积性。

这种局限正是许多多轮越狱攻击得以奏效的根源。Crescendo 攻击从看似无害的开场逐步引导模型，甚至借助模型自身的回复作为杠杆；ActorAttack 则将一个禁忌目标拆解成若干看似合法的子问题构成的语义网络；many-shot 越狱则借助伪造的合规对话样例灌满长上下文。人类红队测试者更是能在若干轮对话中，将攻击成功率推到 70% 以上，而这些攻击的单轮成功率仅为个位数。除此之外，用户还可以通过“我是开发者”“我是持有资质的临床医师”“我拥有系统管理员权限”等身份宣称，把一个被拒绝的请求包装成看似合规的操作，而基于单条消息的过滤器往往难以识别这类操纵。

在这样的对抗态势下，作者提出了一个关键论断：守护一个大模型是一个“理解”问题而非“分类”问题。有害内容并不总是显式出现在某条消息中，而可能潜伏在对话整体的目标里、宣称的权威中，或是由若干无害片段拼装而成的最终产物里。要拦住这些威胁，就需要一个能够“阅读对话”而不是“阅读消息”的独立监督者，并且这个监督者必须在目标模型生成之前介入，同时保留清晰的判决依据。这一动机推动了认知防火墙的设计。

相关工作与定位

论文按对话上下文的使用深度将现有防御划分为三大类。

第一类是消息级审核，从 OpenAI 的审核分类器、Llama Guard、ShieldGemma、WildGuard 到 Granite Guardian，本质上都是把每条消息孤立地对照固定的伤害分类进行打分。NeMo Guardrails 则通过可编程规则来包裹模型，宪法式分类器（Constitutional Classifiers）依靠海量红队工时强化输入输出过滤，但它们同样是逐条判断，没有对用户意图或对话历史的建模。

第二类是轨迹感知防御。THRD 综合每轮风险、历史情境和响应评估，输出一个随时间衰减的复合分数；TurnGate 学习一个基于历史与候选回复的轮级监控器，在有害倾向最早出现的一轮进行拦截；TCA（Temporal Context Awareness）在每一轮都对整段对话重新打分。然而这些方法的通病，是最终把复杂的多轮语义压缩为一个单一分数，从而稀释了升级式或分解式攻击所产生的局部信号；CivicShield 虽然在零信任基础上叠加了七道防线，但只在仿真环境评估，并且其零信任源自会话凭据而非对话内的角色宣称。

第三类是分解式或监督型防御。Intention Analysis 让目标模型先说明请求的“本质意图”再回答；Goal Prioritization 教模型优先考虑安全再考虑帮助程度；SelfDefend 在旁路启动一个影子模型审阅提示词和回复；Bergeron 增加了一个批判性“良心”模型；AutoDefense 把裁定分发给多个协同智能体；LlamaFirewall 与 GuardAgent 主要面向工具型智能体的注入攻击。这些工作虽然引入了额外模型或分解思路，但要么在生成之后再进行审阅，要么仅面向单轮攻击，或者没有把“对话内身份声明”单独作为一条独立的裁定通道来处理。

作者将上述系统投射到四个关键维度：跨评估者的判决分解、多轮轨迹分析、零信任情境核验、生成前拦截。表格对比显示，认知防火墙是唯一在四个维度上都提供显式支持的框架。它并不宣称在所有细节上都是首创，而是首次让这些能力以“可独立审计、可动作化、且在生成前生效”的方式协同工作。此外，认知防火墙的“零信任情境闸门”借鉴了网络安全中“永不信任、始终验证”的原则，把用户宣称的角色明确视为“未经证实的证据”，从而把身份操纵这条通道与内容安全解耦。

认知防火墙框架与四道闸门

认知防火墙的核心设计是把大模型安全裁定“分解”成四个类别式闸门，每一道闸门都由同一个独立的监督模型执行，输出一个类别化的判决和一句话理由。在威胁模型上，作者假设用户完全控制每一轮输入，可以使用任意的语言包装、身份宣称与多轮策略；系统提示词与服务栈本身是可信的，被保护模型则被视为黑箱，只能通过 API 访问。这一设定意味着防火墙必须“先于生成”动作、必须“跨越对话”做判断、必须“不轻信用户宣称的上下文”，并且必须“可追溯”。

第一道闸门是意图闸门（G1）。它的作用是还原“完整回答该请求将真正提供什么”。它并不停留在字面语义，而是先解析请求的现实指代物。例如“杀死进程”指的是操作系统命令、“下手”一词可能是体育或棋类术语、涉及“炸”的语句可能是电影桥段，而不是真正的破坏行为。只有当请求要提供的真实交付物本身就是可迁移的伤害能力——例如武器或毒品合成路线、可运行的恶意程序、精确的入侵步骤、仇恨或骚扰性内容等——它才会返回“不安全”并在生成前直接拦截。这种基于“指代物”的裁定，可以有效降低对那些“听起来危险但实际无害”请求的过度拒绝。

第二道闸门是零信任情境闸门（G2）。它只回答一个问题：用户是否在对话中主张某种角色、身份、权限、许可或规则覆盖，以借此换取信任或解锁被拒的答复？它是主题无关的，只处理用户对自身或对助手规则的第一人称宣称。对第三方的描述（如“我的医生说……”“黑客通常这样做……”）不会触发。若用户冒充开发者、运营人员，或注入越狱指令、DAN 模式命令、伪造凭据，或声称助手的规则已经改变，则被判定为“操纵性”并拦截；若只是普通身份提及或不可核实的职业陈述（如“我是护士，需要药量”），则视为“可信但未核验”，予以放行。

第三道闸门是一致性闸门（G3）。它读取完整对话历史，寻找时间维度上的操纵痕迹：逐步升级到有害目标（Crescendo 式）、由良性开场滑向禁忌目标的“主题漂移”、与早前上下文明显矛盾的转折，以及被分解到多轮之间的复合任务。一旦判定为“升级”即拦截。特别地，作者规定，只在响应中才真正拼装成危险内容的分解式攻击留给输出闸门作为后备，由此避免与意图闸门的职责冲突；同时，由于升级只在多轮上下文中才有意义，一致性闸门对第一轮请求自动放弃裁定，也不会调用监督模型，从而节约计算量。

第四道闸门是输出风险闸门（G4）。它是唯一在生成之后触发的闸门，直接审查候选回复的实际内容而非包装形式。若回复提供了可操作的危险能力（无论完整还是分步）或者本身就是有害制品（仇恨语言、骚扰、定向虚假信息、钓鱼邮件等），闸门返回“有害”并扣留该响应；若回复选择拒绝、保持泛化或的确无害，则返回“无害”。在四道闸门的组合上，作者采用“升级式决策规则”：只要任一启用的闸门返回“危险”标签就立刻阻断该轮；只有所有闸门都返回安全标签时才放行。由于所有闸门都产出类别化标签而非分数，阻断就成为一个自然的“任一触发”规则，从根本上避免了分数平均所带来的信号稀释。

实验设置与主要结果

作者搭建了一套完全本地化的实验环境。监督模型选用 qwen3:8b，通过 Ollama 以温度 0、关闭推理模式、每次调用约 400 tokens 的预算运行，四道闸门总计每轮消耗三到四次调用，若在生成前某道闸门已经短路则更少。目标模型是本地部署的 mistral，用于扮演“被保护对象”。伤害判官则采用 qwen3.5:122b，一个来自同一 Qwen 家族但规模远大于监督模型的判官模型，它独立于所有闸门存在，不参与任何裁定，只用于打分；作者也如实指出，其与监督模型同宗同源，是一种潜在的“同家族偏见”，将在讨论章节予以澄清。

数据集覆盖四种攻击型和一种良性型。jbb 包含 100 个单轮直接有害请求；crescendo 是 50 个多轮升级攻击；safemt 是 50 个 ActorAttack 分解型多轮攻击；mhj 是 50 个人工手写、极具挑战性的多轮越狱脚本；xstest 则是 120 条“看起来像有害但实际良性”的提示，用于检验过度拒绝。基线方法分为两类：三个公开发布的守卫模型（Llama Guard 3 8B、ShieldGemma 9B、Granite Guardian 8B）与两个轨迹感知防火墙的复现版本（THRD-style 与 TCA-style）。为客观评估，作者定义了三种互斥指标：ASR（至少有一轮有害内容被交付的比例）、blk（在有害内容产生前被拦截的比例）以及 OR（在良性提示上被拒绝的比例）。

主要结果堪称亮眼。相比未防御目标 45%、10%、30%、74% 的攻击成功率，认知防火墙将 jbb、crescendo、safemt、mhj 分别压制到 1%、0%、2%、14%，几乎完全消灭了 crescendo 与 safemt，仅在人工手写的 mhj 上留下 14% 的残余。更重要的是，绝大多数拦截都发生在目标模型生成之前，这正是消息级守卫模型无法企及的能力。作者进一步给出了闸门贡献分布：意图闸门对直接攻击贡献了 92 次 jbb 拦截中的 89 次，一致性闸门主导了多轮攻击的拦截，占 crescendo 50 次拦截中的 48 次、safemt 39 次拦截中的 14 次、mhj 43 次拦截中的 27 次；输出闸门则是无法在生成前拦截的分解式攻击的最终防线，为 safemt 贡献 21 次、mhj 贡献 12 次。

对照实验揭示了基线方法的失败模式。三个守卫模型都在分解式攻击上败下阵来，safemt 的攻击成功率为 20%–36%，mhj 更高达 26%–44%，原因正是它们把每一轮消息独立打分；两种轨迹感知防火墙虽然能够读取完整对话，却把它压缩为一个累积或整体分数，safemt 仍有 20%–24%、mhj 更升至 40%–50%。良性拒绝率上，认知防火墙保持在 8%，而 ShieldGemma 与 Granite Guardian 分别高达 18% 与 21%，说明基于“指代物”的意图闸门在识别真实威胁的同时有效降低了对良性提示的“误伤”。

消融分析与鲁棒性检验

作者对每一道闸门都进行了严格的消融。禁用意图闸门后，jbb 的生成前拦截率从 92% 下降到 86%，说明意图闸门是直接攻击的主要拦截手段。禁用一致性闸门带来的影响最为剧烈：crescendo 的生成前拦截率从 100% 骤降到 72%，safemt 从 78% 降到 64%，mhj 从 86% 降到 72%，充分证明该闸门是多轮升级与部分分解攻击的关键防线。禁用输出闸门则让 safemt 的攻击成功率从 2% 反弹到 16%、mhj 从 14% 反弹到 32%，说明它是应对“最终响应中才拼装出的伤害”的必要后备。同时，禁用输出闸门后过度拒绝率也从 8% 降到 2%，表明大部分“误伤”其实是输出闸门为了安全采取的保守选择。

作者进一步比较了“只启用生成前闸门”“只启用输出闸门”和“完整防火墙”的组合表现。crescendo 在这三种组合下的生成前拦截率分别为 96%、34%、100%，safemt 为 54%、60%、78%，mhj 为 68%、66%、86%。这些结果表明生成前拦截与生成后审阅存在明显互补性，在多轮攻击中，任一半都不足以独立提供充分保护，只有把两者组合才能获得最佳表现。这个观察也从另一个角度证明了将安全职责“分工到多道闸门”的合理性。

关于零信任情境闸门，作者指出它在四大标准攻击集中几乎没有触发，原因很简单——那些数据集根本不包含身份宣称的攻击手段。为此，作者专门设计了 16 条“身份权威探针”，覆盖冒充身份、覆盖指令、DAN 模式、伪造凭据、权限提升与政策篡改等场景。由于这些攻击的“载荷”本身就是让模型接受错误的权威，而非输出可迁移的有害内容，传统的伤害判官几乎无法评分；作者用生成前拦截率来度量。结果显示，认知防火墙拦截了 16 条中的 12 条，拦截率高达 75%，且在 10 条身份控制样本上没有产生任何误拒；相比之下其他守卫模型的拦截率仅为 6%–12%，两个轨迹感知防火墙也仅为 31%。若把零信任情境闸门关掉，认知防火墙的表现直接归零，凸显了这道闸门的不可替代性。

在鲁棒性方面，作者做了三层扩展验证。首先，跨五次独立随机种子的运行显示，生成前拦截主导的数据集几乎是确定性的，jbb 的 ASR 稳定在 0±1%，crescendo 拦截率稳定在 100±1%；波动主要集中在依赖输出闸门的分解型攻击上，safemt 为 2±2 ASR、76±3 拦截率，mhj 为 11±8 ASR、89±8 拦截率，过度拒绝为 9±2%。其次，通过更换目标模型（llama3.2:3b）与更换监督模型（gemma4:31b），认知防火墙仍能在 safemt 与 mhj 上分别把攻击成功率压制到 6%、4% 或 2%、6%，说明闸门提示词具有跨家族的可迁移能力。最后，作者还手写了 20 条针对每一道闸门薄弱点的白盒攻击，包括虚构框架、伪造权威、极端分解与编码载荷。结果 20 条中有 18 条被成功拦截，两次“漏网”出现在分解通道，作者将其视为方向性提示而非最终评估。

讨论、局限与研究展望

尽管认知防火墙表现优异，作者对研究的局限仍保持相当克制的态度。首先，各攻击集的规模在 50 到 100 条之间，权威探针与白盒攻击更少到 16 到 20 条，因此某些细微差距的统计置信区间较宽，一次样本的失误就能带来 1 到 2 个 ASR 点的波动。作者也没有对基线进行多种子重复运行，这意味着基线对比更接近“单次运行的定性指示”而非严格的均值对比。

其次，构造效度方面存在三个已识别的隐患。第一，作为伤害判官的 qwen3.5:122b 与监督模型来自同一 Qwen 家族，同家族偏见无法完全排除，作者仅对防火墙的残余失败进行了人工核验；换用异家族判官与更多人工评审是后续可靠性验证的方向。第二，两个轨迹感知基线是作者按论文描述自行复现的实现版本，其中 THRD-style 版本省略了独立的响应评估项，因此这类比较应被理解为“对该类设计的下界”，而非对原始工作的忠实重现。第三，mhj 与 crescendo 数据集屏蔽了原始响应，实验中攻击是在 mistral 重新生成的输出上执行的，同时闸门提示词是在每类攻击的前若干对话上开发的，这些条目属于“样本内”评估，作者坦承提示词的严格样本外评估仍是未来工作。

第三，防御链条本身也有尚未测试的暴露面。整个监督者是一个 8B 规模的模型，读取由攻击者控制的文本；虽然作者通过类别化标签白名单和升级式决策规则试图抵御提示词注入，但由于同一个模型同时执行四道闸门，一次成功的注入就可能同时“翻转”多个判决，作者也直言尚未对监督者本身做压力测试。此外，过度拒绝率目前只在单轮的 xstest 上进行度量，多轮良性对话的“误伤代价”仍然未知；每轮三到四次的串行监督调用带来了额外的延迟成本，作者也没有系统性地进行性能剖析。最后，伤害的边界本身就带有主观性——一个虚构框架、一次两用性问题、一次“接近可执行但没有真正实现”的步骤，都是判断题。当前的闸门提示词与判官选择只是对这种边界的“一种解读”，更严格的运营方就会得到不同的评估结果。

在讨论最后，作者给出了整篇论文的核心观点：认知防火墙把大模型的运行时安全重新定义为一个“理解问题”，通过一个独立的监督模型还原请求的操作目标、拒绝对宣称权威的默认信任、审查对话轨迹的走向，并在被保护模型生成之前就采取动作。它的贡献不在于对每一个技术细节都是原创，而在于第一次把这些能力以“抑制性、生成前、可独立审计”的形态整合到一起，把此前只停留在概念阶段的“认知式抑制”真正落地为工程系统。评估显示，几乎所有升级型攻击、大多数直接攻击都能在目标模型生成之前被拦截，那些将有害目标分散到多轮的分解式攻击也能被输出闸门识别，同时误拦率明显低于更严格的公开守卫模型。由于每一次阻断都对应一个人类可读的裁定，整个决策链是可审计的。作者也坦承，评估还受制于同一家族判官、有限的样本规模以及尚未测试的监督模型攻击面，这些都是后续研究值得深入的方向。长期来看，认知防火墙给出的更重要启示是：面对越来越擅长“讲故事”的大模型攻击者，只有让防御方也“会读故事”，才能守住真正意义上的安全底线。

论文结论

综上所述，本论文以“认知防火墙”这一主动式、零信任、多闸门的运行时监督框架，回应了大模型在多轮攻击、身份操纵与目标分解等对抗策略下的安全挑战。通过意图、零信任情境、一致性与输出四道相互独立的闸门，并采用“任一触发即阻断”的升级式组合规则，认知防火墙实现了对不同攻击模式的差异化处置，同时保留了逐条可追溯的判决依据。实验数据显示，它在四种攻击基准和身份权威探针上都取得了明显优于既有守卫模型与轨迹式防火墙的表现，并且在良性提示上维持了较低的误拒率。

更宏观地看，本工作真正的价值在于为“大模型安全”提供了一种新的思维模板：把“理解对话”作为一等公民、把“身份宣称”作为独立的裁定通道、把“生成前的可解释拦截”作为默认动作。尽管在样本规模、判官家族一致性、监督模型自身可注入性等方面仍有待更多研究，但作者已把认知防火墙的设计蓝图与工程细节明确呈现在读者面前，并承诺开放全部代码、提示词与评测框架。对于任何正打算把大模型投入真实业务的团队来说，这篇论文都提供了一个可以直接借鉴的“安全脚手架”：不再依赖单一守卫模型的“分数直觉”，而是让防御方拥有阅读理解、身份核验、轨迹审计和输出兜底四种能力，共同守住那道被越来越复杂的对抗行为不断试探的红线。

-End-

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：安全极客 知识分享者 知识分享者《【论文速读】| Cognitive Firewall：面向LLM安全的主动式、零信任、多级安全框架》