文章总结： Meta发布了专为AI系统设计的开源安全防火墙LlamaFirewall，旨在防范越狱攻击、提示注入等AI安全风险。该框架采用模块化设计，包含PromptGuard2、AgentAlignmentChecks和CodeShield三大核心组件，支持多层次、自适应的防御机制。作为开源项目，LlamaFirewall允许开发者构建自定义安全策略，Meta希望其成为AI时代的Snort或Zeek，帮助行业安全发展AI应用。 综合评分： 85 文章分类： AI安全,安全工具,安全建设,解决方案,开源安全

LlamaFirewall：为AI量身打造的开源安全防火墙

GoUpSec

2025年5月27日 11:27 吉林

随着大语言模型（LLM）从聊天机器人跃升为高信任度的自主系统核心，围绕其安全性的挑战也日益严峻。

近日，Meta发布了首个重量级为AI防火墙——LlamaFirewall，一款开源系统级安全框架，以模块化设计为基础，支持多层次、自适应的防御机制，旨在防范包括“越狱攻击”“提示注入”“目标劫持”与“危险代码输出”等在内的多种AI安全风险。

为什么Meta要推出LlamaFirewall？

“当前的大模型已经具备作为自主智能代理运行的能力，但原有的安全机制根本没有为此类复杂性而设计。”Meta安全工程师 Sahana Chennabasappa 表示，这种脱节正导致企业在部署AI系统时出现危险的安全盲区。

尤其是在编程相关的应用中，大模型所生成的代码一旦直接被下游系统引用，就可能无意中引入漏洞。“多步推理能力的不匹配，也可能导致AI代理执行远远超出用户意图的操作，”Chennabasappa指出。这类问题已经在代码辅助工具和自主研究代理中有所体现，且随着智能代理系统普及，将只会更加突出。

然而，与大模型集成的关键业务流程愈加复杂，配套的安全基础设施却仍处于早期阶段。“现有安全机制大多集中于内容过滤，例如防止聊天机器人输出虚假或有害信息，这种做法过于狭隘。”她强调，真正的安全挑战来自于更深层的系统性风险，例如提示注入、代码解释器滥用以及不安全代码生成等。

为应对这些日益复杂的威胁，Meta团队打造了LlamaFirewall—1个专为大模型代理系统量身设计的安全防线。

LlamaFirewall有哪些独特之处？

LlamaFirewall不仅仅是一个防火墙，更是一套系统级安全架构，具有高度模块化和扩展性，支持开发者按需构建自定义安全策略。它核心设计围绕两个重点风险类别展开：提示注入/代理目标偏移与危险代码生成。

框架内置了三大安全组件：

• PromptGuard2：一个低延迟、实时运行的通用“越狱”检测器，可精准识别用户输入和非信任数据中的直接越狱行为。
• Agent Alignment Checks：首个开源的“链式思维审计器”，能够实时检查AI代理的推理过程，防范提示注入或目标被劫持等风险。
• CodeShield：一款快速在线静态分析引擎，能够识别大模型生成的潜在不安全代码，防止安全漏洞进入生产环境。该组件曾作为Llama3发布的一部分亮相。

此外，LlamaFirewall还支持正则表达式（Regex）和基于大模型的可配置检测机制，方便开发者根据具体应用威胁模型进行自定义扩展。

构建协同安全生态的“防火墙语言”

LlamaFirewall通过统一的策略引擎整合所有防御机制，开发者可以通过该引擎：

• 构建自定义检测与响应流程
• 定义条件触发的补救策略
• 插件式接入全新检测器与工具

Chennabasappa称：“我们希望LlamaFirewall成为大模型时代的Snort、Zeek或Sigma，帮助研究者、开发者、运营人员共享策略、组合防线，并实时适应新兴威胁。”

面向未来的开源安全架构

作为一款开放源码、注重可组合性的工具，LlamaFirewall支持在各种AI系统中部署，无论是开源还是闭源平台，只要允许开发者引入额外安全机制，均可接入。

Chennabasappa强调：“我们借鉴了Meta在大规模生产环境中的经验，希望通过这一架构帮助行业安全地发展AI应用。”

相较于限制透明度和灵活性的专有系统，LlamaFirewall的开源设计支持社区共建插件、规则和检测器，从而提升AI安全的可信度与适应性。

目前，LlamaFirewall的重心仍聚焦于提示注入与不安全代码输出两个高优先级风险。但未来Meta计划将其扩展至更多高风险行为检测，包括恶意代码执行、不安全工具使用等，覆盖AI代理生命周期的更多安全环节。

LlamaFirewall已免费开放下载

地址：https://github.com/meta-llama/LlamaFirewall

END

相关阅读

SK电讯三年泄漏2700万用户SIM卡数据

微软打造“AI操作系统”

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：GoUpSec 《LlamaFirewall：为AI量身打造的开源安全防火墙》