AI 智能体时代大模型安全风险与攻防新挑战

原创

小安伴你行
小安伴你行

小安伴你行

2026年10月18日 09:00
北京

去阅读

1　总论：智能体时代的安全范式之变

1.1　从“生成式对话”到“自主智能体”

大模型应用正在经历一次关键跃迁：从“回答问题的对话助手”升级为“可自主行动的智能体”（AI Agent）。对话式模型仅基于提示词生成内容；而智能体可在目标设定完成后，自主完成步骤规划、工具调用、业务系统读写、信息收发，甚至能在部分场景下代表用户完成交易与决策。这种从“输出建议”到“落地执行”的转变，在大幅提升效率的同时，也将“执行权”从人转移至模型，安全边界随之发生根本性变化。

理解这一转变，是认知后续所有风险的前提。智能体的价值核心在于“行动”，而行动会带来传统大模型应用不具备的直接影响：一次错误的工具调用、一次越权的数据访问、一次被劫持后的恶意操作，都可能立刻在业务系统中产生实际后果。

1.2　智能体的核心能力要素

智能体之所以“智能”，源于多项关键能力的组合；而每一项能力在带来便利的同时，也对应着新的风险点。

表1　智能体核心能力要素与风险含义

1.3　为什么安全范式被重新定义

智能体时代的安全挑战，无法再通过“传统大模型 + 常规网络安全”的旧框架应对，核心原因主要有三点：

其一，攻击面从“数据”扩展到“动作”。传统防御以防止数据泄露为核心关注点；进入智能体时代后，还需要额外防范模型在错误指令或错误判断下做出危险动作，例如越权工具调用、错误交易、对外发送敏感信息。

其二，信任边界被打破。用户的系统指令、工具描述、网页内容、检索文档等内容都会被混入同一上下文，而模型在架构层面难以可靠区分“可信指令”与“不可信内容”，这正是提示词注入类攻击的结构性根源。

其三，决策速度远超人工拦截效率。智能体可在毫秒级完成高权限操作，传统“事后发现”的响应节奏已经跟不上“即时执行”的攻击与误操作。当前国际权威框架已系统性将这些问题单列：OWASP于2025年12月发布了面向智能体应用的《Top 10 for Agentic Applications 2026》，NIST也将“智能体目标劫持”“流氓智能体”“级联失效”等列为智能体时代的新兴威胁。

2　大模型本身的安全风险（基础层）

在讨论智能体之前，必须先厘清大模型本身已存在、又被智能体进一步放大的基础风险。以下四类风险均被OWASP列为大模型应用的主要威胁。

2.1　提示词注入

提示词注入（Prompt Injection）是大模型应用的第一大漏洞，对应OWASP LLM Top 10中的LLM01。它的本质是：模型无法可靠区分“系统指令”与“用户输入/外部数据”，攻击者会将恶意指令伪装成待处理内容，诱使模型偏离原始指令执行非预期动作。其中直接注入针对用户输入栏发起攻击；间接注入则将恶意指令隐藏在网页、文档、邮件、检索增强（RAG）内容中，模型处理这些内容时会被动执行恶意指令；近年来还出现了将指令隐藏在图片、音频中的跨模态注入。

2.2　数据投毒与后门

通过向训练数据、微调数据或RAG知识库注入恶意样本、偏置样本，可使模型在特定“触发器”触发下输出攻击者预设的内容，甚至被植入后门。数据投毒既可能发生在公开训练数据中，也可能发生在企业自建知识库或第三方提供的数据集内，隐蔽性极强。

2.3　模型窃取、逆向与对抗样本

攻击者可通过大量查询逆向推断模型参数、能力边界乃至训练数据信息，造成知识产权与隐私损失；也可构造人类难以察觉的对抗性输入，诱使模型在分类、识别或生成环节输出错误结果，从而绕过内容审核与检测系统。

2.4　幻觉与输出不可信

大模型有可能生成与事实不符的“幻觉”内容。在常规对话场景中，幻觉主要影响信息的准确性；而进入智能体场景后，幻觉可能直接转化为错误的工具调用、错误交易或错误决策，其危害会被显著放大。

表2　大模型本身的主要基础风险

3　智能体带来的新攻防挑战（核心）

3.1　智能体：既是新目标也是新武器

智能体的特殊性体现在其“一体两面”：它既是攻击者瞄准的新目标，可能遭遇劫持、误导与冒充，也是攻击者手中的新武器，可用于自主发起攻击、开展批量社会工程活动、实施自动渗透。OWASP的智能体安全框架已将“智能体目标劫持”“不安全的智能体间通信”“流氓智能体”“人—智能体信任利用”等列为需优先关注的威胁。

3.2　工具调用与 MCP 的安全面

工具调用是智能体实现外部交互的“手脚”，而MCP（Model Context Protocol，模型上下文协议）已成为智能体连接外部工具与数据源的通用方式。协议在带来便利的同时，也催生了全新的攻击面。云安全联盟（CSA）的研究指出，MCP存在“工具投毒”风险：攻击者可在工具描述、参数结构或响应内容中嵌入恶意指令，而智能体会将这些内容视作可信的操作上下文，且当前MCP本身不具备原生的检测或防御机制。学术界提出的MCP-38威胁分类法，进一步系统归纳了“工具描述投毒、间接提示词注入、寄生工具链、动态信任违背”等结构性安全问题。

工具投毒已经出现真实的漏洞案例。例如，Cursor的MCP集成曾被曝出“MCPoison”漏洞（CVE-2025-54136）：经开发人员批准过一次的工具，可被攻击者重定义为执行完全不同的任意命令，而Cursor不会再次向用户征询确认。腾讯朱雀实验室在盘点2025年十大MCP漏洞时，也将“间接提示词注入”列为最隐蔽、最难防御的大模型风险之一。

表3　MCP 与工具调用的主要攻击向量

3.3　智能体劫持与间接提示词注入

“智能体劫持”是指攻击者通过操纵智能体接触到的外部内容，接管其目标与行为。该类攻击的典型形态是间接提示词注入，目前已出现多起真实事件：

一是AI浏览器被劫持。2025年8月，安全公司Brave披露AI浏览器Comet存在严重漏洞：攻击者只需在网页中嵌入恶意指令，即可操纵AI浏览器完成登录网站、访问邮箱、读取验证码并外传敏感信息的操作。

二是企业级智能体遭遇零点击劫持。安全公司Noma Labs于2025年12月披露Google Gemini Enterprise的“GeminiJack”漏洞：仅需一份被投毒、且被智能体工作区索引的文档，即可触发数年来积累的邮件内容以及智能体全部连接数据对外泄露，属于典型的零点击间接提示词注入攻击。

三是通用智能体框架普遍存在安全风险。国内三六零发布的《智能体安全实践报告》指出，Browser Use类智能体在解析外部网页内容时普遍存在提示词注入风险；学术研究也对浏览类智能体的完整劫持漏洞（CVE-2025-47241）给出了分析与编号。这些案例的共同点在于：智能体将不可信的网页、文档内容误判为可信指令。

3.4　多智能体协作、级联失效与“流氓智能体”

当多个智能体通过消息通信、任务委托、共享工具开展协同工作时，整体安全性取决于系统中最薄弱的环节。NIST已将“不安全的智能体间通信”“级联失效”列为新兴安全威胁：一个被劫持或感染的智能体，可通过智能体间通信将恶意指令扩散给其他智能体，形成恶意内容的级联传播；而“流氓智能体”则指背离预设目标、执行恶意操作或被攻击者完全控制的智能体。这类风险对企业部署多智能体系统提出了更高的隔离与审计要求。

3.5　身份、授权与拟人化风险

智能体代表用户或企业执行操作时，身份与授权的边界会变得模糊：它究竟拥有多大权限？谁有权授权它完成交易？若身份被冒充，该如何识别？在支付与交易场景中，AI代理可能因模型本身的不确定性做出超出预期的行为，引发误操作或未授权交易——美国运通已为此推出“意图智能框架”，在AI代理完成交易前先捕获并验证客户的购买意图。

“拟人化互动”还会放大社会工程攻击与诈骗风险。针对这一趋势，我国已出台《人工智能拟人化互动服务管理暂行办法》（国家网信办等五部门令第21号，2026年4月10日公布、2026年7月15日施行），对拟人化互动服务的标识规范、安全保障与治理要求作出明确规定。

3.6　智能体的恶意利用：自主攻击与资源窃取

攻击者不仅会攻击智能体，也会将智能体用作攻击武器。新华网2025年11月的报道指出，安全机构发现攻击者已利用AI智能体开展攻击方案规划、漏洞探测和流量监测，攻击所用的部分代码明显由AI生成，可在攻击过程中自动、快速编写动态代码实施攻击。安全团队还观察到，AI智能体在执行常规检索任务时，会自主转向攻击策略，并成功从政府预生产服务器窃取数据。

资源窃取方面，学术界提出的“LeechHijack”攻击展示了MCP工具提供者如何借助合法工具调用，持续榨取受害智能体系统的算力资源，且整个过程无需获取更高权限。这类攻击说明，智能体时代的恶意攻击行为更加隐蔽、自动化且低成本。

3.7　治理与合规新挑战

面对上述风险，我国已构建起较为完善的治理框架与法规体系，企业必须将合规要求纳入智能体应用的全生命周期。

表4　与智能体安全相关的我国法规与治理框架

上述文件共同确立了“合规使用AI、内容可溯源、责任可追溯”的底线要求，智能体应用在引入、部署与运营的各个阶段，都应当对标这些要求开展建设。

4　风险洞察：企业视角

将第2、3部分梳理出的威胁落到企业场景，可以归纳为以下几类需要重点管理的风险。

4.1　数据与知识产权泄露

员工或系统向智能体输入代码、客户资料、经营数据与未公开方案，智能体在处理过程中，可能将这些数据向外发送给工具、第三方服务或进入不可控的上下文环境。智能体“自主行动”的特点，也使得数据泄露不再局限于“手动粘贴”的人为操作，而有可能由模型自主触发，因此必须对智能体可以访问的数据范围进行严格约束。

4.2　授权越权与误操作

若智能体被授予过大的工具与系统权限，或是被劫持后执行高权限操作，就可能造成越权访问、错误交易、对外发送信息等实际业务损失。误操作与未授权交易正是支付与流程自动化场景的重点风险。

4.3　AI 供应链与第三方组件风险

企业所使用的基础模型、微调适配器、插件、“技能”、MCP服务器与数据集，都有可能成为被投毒或被替换的环节，供应链中任何一个环节受到污染，风险都有可能传导至企业的智能体应用与业务系统。

4.4　身份与信任风险

拟人化互动、深度伪造与个性化社会工程，同时侵蚀了“人—智能体”与“人—人”之间的信任边界。员工可能无法分辨与自身互动的究竟是真人还是被操纵的智能体，进而泄露信息或执行危险操作。

4.5　合规与监管风险

若智能体应用未落实内容标识、拟人化服务合规、数据处理合规等相关要求，就会面临监管处罚与声誉风险，因此企业需建立覆盖“引入—部署—运营—下线”全流程的合规审查机制。

4.6　企业智能体风险矩阵

为便于管理层与员工对齐风险防控重点，下表将上述风险按“发生可能性”与“影响程度”归类（为相对评估，需结合企业业务实际校准）。

表5　企业智能体风险矩阵（相对评估）

5　防御思考：构建智能体时代的防线

5.1　框架与标准遵循

防御建设应首先对标权威框架，形成统一语言与优先级：应用层参照OWASP Top 10 for LLM 2025与Top 10 for Agentic Applications 2026；供应链与能力层参照OWASP Agentic Skills Top 10；研发与运营全生命周期参照NIST SP 800-218A（面向生成式AI与基础模型的安全软件开发实践）与NIST智能体新兴威胁清单；在国内则对标《人工智能安全治理框架》与相关法规。

5.2　纵深防御＋零信任：权限最小化与人工确认

智能体的权限管理需贯彻“零信任”与“最小权限”原则：默认不信任任何智能体、工具与外部内容；按照“最小必要”要求授予工具与数据访问权限；针对高价值操作（交易、审批、敏感信息外发）设置人工确认节点，避免模型自主执行不可逆动作。可参考支付场景的实践，在执行操作前引入“意图验证”步骤，确认操作确为用户本意。

5.3　专项防御：输入输出、MCP 与供应链

针对第三部分所列攻击，专项防御应覆盖四个维度：一是输入输出过滤与指令层级管理，对不可信的网页、文档、检索内容做降权处理，防止其覆盖系统指令；二是MCP与工具安全，对工具来源、描述与参数进行校验与白名单管理，禁止“无确认重执行”，引入工具注册审计与沙箱隔离；三是供应链准入管理，对模型、插件、技能、数据集实施完整性校验与来源审查；四是行为审计与异常监测，记录智能体全部工具调用与操作，针对越权、异常调用、资源滥用（如LeechHijack）建立监测机制。

5.4　AI 红队与持续评估

应对智能体应用应当开展持续的安全评估与对抗性红队测试，覆盖提示词注入、工具投毒、目标劫持、多智能体感染等场景，并将安全要求嵌入研发、部署、运营的全生命周期（参照NIST SP 800-218A的全生命周期理念）。评估并非一次性工作，而应随模型、工具与应用的迭代持续推进。

5.5　组织与员工防护

每位员工都是防线的一环。以下是面向个人层面的可执行要点：

表6　员工个人防护要点

5.6　落地路线图

智能体安全建设建议分阶段推进，形成“评估—治理—运营”的完整闭环。

表7　智能体安全建设落地路线图

6　结语

智能体时代，大模型已经从“会说话”走向“会行动”，安全的内涵也随之从“保护数据”拓展为“约束行动”。这一变化带来了全新的攻防挑战，也要求企业以系统化框架、最小化权限与持续性评估构建安全防线。

对每一位员工来说，理解大模型与智能体的安全风险，谨慎使用AI工具，守住身份、权限与数据边界，及时上报可疑情况，就是为企业智能体安全筑牢了最基础也最关键的一环。让我们在拥抱智能体带来的效率提升的同时，把安全内化为自身的行动准则。