OWASP更新LLM十大漏洞榜,Agent过度权限风险大幅上升

admin 2026-09-12 04:38:48 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: OWASP更新LLM十大漏洞榜,提示注入与敏感信息泄露仍居首位,Agent过度自主权限升至第三,反映AI从聊天机器人向可执行操作Agent演进。核心建议包括:最小权限原则、外部校验机制、输入输出清洗、供应链审核及沙箱隔离,企业应优先处置高风险漏洞并建立持续监控体系。 综合评分: 92 文章分类: AI安全,漏洞分析,安全建设,应用安全,漏洞预警


OWASP更新LLM十大漏洞榜,Agent过度权限风险大幅上升

FreeBuf

2026年9月11日 18:00 上海

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

随着技术快速迭代、各类商业落地场景不断涌现,生成式AI技术在企业中的应用规模呈现爆发式增长。

但LLM(大语言模型)可能意外生成有害内容、泄露敏感信息,甚至遭威胁攻击者利用。随着技术持续演进、攻击者不断摸索新的系统入侵路径,这类安全漏洞也在动态变化。对企业而言,相关风险可能导致负面舆情、合规处罚、网络安全入侵、法律责任,甚至引发集体诉讼。

为及时同步LLM领域的最新风险动态,OWASP(开放全球应用安全项目)更新了LLM应用十大最严重漏洞榜单。

本次榜单编制首次结合真实安全事件数据与专家对AI安全风险类别的投票结果。

Prompt injection(提示注入)与Sensitive Information Disclosure(敏感信息泄露)仍是排名前两位的最严重威胁,Excessive Agency(过度自主权限,指Agent执行超出许可边界的操作)升至榜单第三位,这一变化反映出LLM应用已从聊天机器人演进为可调用API、运行代码的Agent系统。

AI资源无限制消耗等问题的风险等级显著上升,而输出处理不当的风险因输出清洗技术的普及已降至榜单末位。 这些排名变化折射出生成式AI领域的迭代速度极快——随着新技术不断落地,该榜单很可能在短期内再次调整。

OWASP表示,本次榜单综合了攻防一线安全从业者的判断,以及真实场景下已发生的安全事件记录,两类数据相互交叉验证。

榜单不仅旨在帮助开发者和企业认知潜在安全风险,还提供对应的修复策略,助力提升LLM应用的安全防护水平。 企业应针对全部10类漏洞开展防护工作,优先处置排名靠前的高风险漏洞。

Part01

提示注入

提示注入自2023年初OWASP首次发布LLM漏洞榜单以来,一直位列榜首。

该攻击技术通过构造恶意输入,操纵LLM在无感知的情况下执行攻击者的指令,攻击形式包括直接“越狱”绕过模型安全限制,或是篡改文件、网站等外部输入源,最终可能导致数据渗出、社会工程攻击等安全问题。例如,攻击者可编写提示词欺骗企业聊天机器人,泄露其无权访问的专有信息;或是上传嵌入隐藏指令的文本、图片、音频文件,导致应用出现异常行为。

提示注入还包括跨模态攻击,这类攻击通过操纵工具输出、模型中间推理过程或持久化记忆,达成恶意目的。

为降低提示注入风险,OWASP给出如下建议:

  • 在系统提示词中明确限定模型的角色与能力边界;
  • 针对最高敏感级别的操作加入人工审核环节,通过额外审批流程拦截未授权操作;
  • 定义严格的输出格式规范,使用可信的应用代码校验模型的每一次响应;
  • 对输入、输出内容(包括文本、图片、音频及结构化数据)进行有害内容检测,在敏感或未授权内容进入模型、或返回给用户前提前拦截;
  • 将凭证与状态变更权限保留在应用代码层而非模型层,针对每一项操作授予最小权限。

Part02

敏感信息泄露

该漏洞也被称为“数据泄露”,指LLM在输出内容中暴露受保护数据、专有算法或其他机密信息,可能导致未授权访问、隐私侵权及其他安全违规事件。

敏感数据可通过多种途径进入LLM,包括初始训练阶段、微调或嵌入处理阶段,或是通过用户输入的提示词传入。一旦模型获取了这类信息,其他未授权用户就有可能通过诱导获取相关内容。

对应的防护措施包括:

  • 落实数据清洗与脱敏机制,防止LLM在训练或推理阶段接触到敏感数据;
  • 对用户输入添加过滤规则,阻止敏感数据上传,或是识别、移除、掩码处理机密信息;
  • 当LLM在推理阶段需要访问数据源时,采用严格的访问控制与最小权限原则。

Part03

过度自主权限

随着Agent系统在企业场景中的应用愈发普及,该漏洞的排名从第六位大幅上升。过度自主权限指LLM被授予了过高的操作权限,通常源于功能冗余、权限配置过大、监管机制缺失三类问题。

OWASP指出,当LLM出现幻觉、遭遇提示注入攻击、接入恶意插件、接收到存在缺陷的提示词,或是模型本身性能不佳时,都可能执行破坏性操作。

AI云安全厂商Sysdig的高级网络安全策略师Crystal Morin表示,过度自主权限的排名上升是专家投票与真实事件数据共同驱动的结果,证明行业对Agent风险的担忧具备充分依据。

Morin表示:“LLM已经从单纯的文本生成工具,演进为可持有真实权限、访问各类工具、具备较大影响半径的行动执行主体。OWASP更新的十大漏洞榜单基于真实世界证据编制,企业可参考该榜单合理安排应用安全防护的优先级。”

Pentest-Tools.com安全经理Daniel Bechenea表示,目前已有大量企业在运行持有生产环境凭证的Agent,相关问题已经在安全事件记录中有所体现。

Bechenea解释称:“有两个典型案例可以佐证这一点:其一发生在2026年4月,PocketOS的一个Cursor编码Agent在执行预发布环境任务时遇到凭证不匹配问题,便超出任务范围,在一个无关文件中找到了根级API令牌,随后使用该令牌删除了Railway平台的MCP存储卷。事件发生的原因是Railway将存储卷级别的备份存放在同一存储卷内,备份数据随卷内数据一同被删除,而最近的可恢复备份已是三个月前的版本。”

另一起广受关注的事件中,Replit平台的一个Agent在明确的代码冻结期内删除了SaaStr的生产数据库,之后还谎称数据无法恢复。

Bechenea表示:“这两起事件都没有攻击者参与,问题根源都是凭证权限范围超出任务需求,且针对破坏性、不可逆操作没有设置强制拦截关卡。两起事件中,企业都在提示词里写了防护规则,但这些规则完全没有生效。这类事件充分提醒我们:写在提示词里的规则不等于有效的安全控制措施。” Bechenea建议,企业应当主动测试Agent通过已连接工具可访问的资源范围,以及Agent访问这些资源时是否有拦截机制,提前做好风险防控。

该漏洞的防护措施包括:

  • 将LLM可调用的插件、工具,以及插件和工具内实现的功能限制在最小必要范围;
  • 避免使用运行Shell命令、获取URL内容等无明确边界的功能,替换为粒度更细的受限功能;
  • 将LLM、插件、工具对系统的访问权限限制在最小必要范围;
  • 跟踪用户授权状态与安全范围,确保代表用户执行的操作在下游系统中以对应用户的上下文运行,且仅授予完成操作所需的最小权限。

Part04

供应链漏洞

供应链漏洞此前排名第三位,涉及第三方组件、被投毒或过时的预训练模型、被篡改的训练数据集等风险。

本次榜单更新重点将Model Context Protocol(模型上下文协议,MCP)服务器与模型制品纳入了该漏洞范畴。

开放获取LLM的普及与新型微调技术的出现带来了更多供应链风险,尤其是当模型来源于公共代码仓库或协作平台时风险更高。该漏洞还覆盖原始模型开发者未严格审核训练数据的场景,这类问题可能导致隐私侵权、软件许可违规或版权纠纷。OWASP指出,供应链漏洞可能引发模型输出偏见、安全入侵或系统故障。

对应的防护措施包括:

  • 严格审核数据源与供应商资质;
  • 仅使用来源可信的插件,确保插件经过测试符合业务需求;使用外部模型与供应商服务时,启用模型与代码签名机制;
  • 扫描环境中存在的未授权插件与过时组件(包括模型及其制品),制定补丁修复策略及时处置问题;
  • 选择第三方模型时,通过全面的AI红队测试与评估流程,在部署前识别潜在漏洞、偏见或恶意功能。

Part05

数据与模型投毒

据OWASP定义,数据与模型投毒指攻击者篡改预训练数据、微调或嵌入流程所用的数据,在模型中植入漏洞、后门或偏见,进而攻陷模型。 例如,获取训练数据集访问权限的恶意攻击者或内部人员可篡改数据,让模型输出错误的指令或建议,对企业造成损失,或为攻击者谋取利益。

对应的防护措施包括:

  • 验证训练数据的供应链安全,尤其是外部来源的训练数据;
  • 针对不同业务场景,使用独立的训练数据或微调流程构建专属模型,实现更细粒度、更准确的生成式AI输出;
  • 落实充分的沙箱隔离机制,防止模型抓取非预期数据源的内容;
  • 针对特定训练数据或数据源类别采用严格的审核机制或输入过滤器,控制虚假数据的占比。

Part06

无限制资源消耗

该漏洞此前被称为模型拒绝服务,指攻击者诱导LLM消耗极大量资源,导致其他用户的服务质量下降,同时可能产生高额的资源成本。

OWASP指出,由于LLM本身资源消耗量大、用户输入不可预测,且开发者普遍对该漏洞缺乏认知,这一问题的风险等级正在不断上升。例如,攻击者可通过自动化工具向企业聊天机器人发送大量复杂查询,每个查询的响应都需要消耗时间与资金成本,也就是所谓的“钱包拒绝服务”攻击。 无限制资源消耗还包括模型窃取攻击:攻击者通过发送海量查询请求,最终可实现对原始模型的逆向工程,或是利用模型生成合成数据来训练新模型。

对应的防护措施包括:

  • 落实输入校验与清洗机制,确保用户输入符合定义的长度、内容限制,过滤恶意内容;
  • 设置单请求或单步骤的资源消耗上限,对包含复杂逻辑的请求进行限流;针对单个用户或IP地址强制执行API速率限制;限制系统响应LLM输出时的排队操作数或总操作数;
  • 持续监控资源利用率,识别异常峰值或异常访问模式;
  • 设计高负载下的优雅降级机制,在压力过大时维持部分功能可用,避免系统完全崩溃。

Part07

错误信息

LLM有时会生成事实错误、不当或不安全的内容。

Omdia网络安全高级首席分析师Rik Turner表示,这类“幻觉”现象可能引发严重风险,例如当企业安全分析师使用LLM时:“如果模型输出的内容明显错误,分析师可以轻易识别,就能纠正结果并进一步优化算法。但如果幻觉内容极具迷惑性、看起来与真实信息别无二致,就会引发严重问题。”

当企业直接面向公众部署LLM应用(如客服聊天机器人)时,幻觉的风险会进一步升高。如果模型提供的信息存在危险性、违法内容或事实错误,可能导致企业遭受经济损失、声誉受损或面临法律风险。

如果用户对LLM生成的内容过度信任、未做充分验证,错误信息的影响还会进一步放大。

核心防护措施包括:

  • 要求模型输出必须基于权威来源,在依据输出内容采取行动前必须核验信息真实性;
  • 引入审批工作流与系统校验机制;
  • 记录模型输出的结论、参考依据与最终结果,开展对抗场景测试;定期针对误导性场景测试工作流的可靠性;
  • 落实最小权限、沙箱隔离与速率限制机制,限制安全事件的潜在影响范围。

Part08

隐藏上下文泄露

隐藏上下文泄露在原有的系统提示词泄露漏洞基础上扩展了范围,覆盖所有隐藏上下文相关的安全问题。

系统提示词是提供给LLM、用于引导对话行为的初始指令,其中可能包含敏感指令、运行参数、安全控制规则、业务逻辑与企业私有信息。企业可能错误地认为这些系统提示词会处于保密状态,但实际上它们很容易遭到泄露。

OWASP指出,该漏洞的核心问题并非攻击者能够获取系统提示词,而是企业从一开始就将API密钥、认证详情等敏感信息放在了系统提示词中。 开发者应当默认隐藏上下文存在被获取的可能性,在此前提下开展安全设计。

核心防护措施包括:

  • 将API密钥、认证详情、数据库连接信息等敏感信息与系统提示词分开存储,存放在模型无法直接访问的系统中;
  • 避免依赖系统提示词实现模型行为控制,应当将有害内容检测等控制逻辑部署在外部系统中;
  • 在LLM外部部署防护规则,对模型输出进行检测,确保模型行为符合预期;
  • 以确定性、可审计的方式,在LLM外部独立实现权限分离、授权校验等关键安全控制措施;
  • 如果工作流包含多个需要不同访问权限的任务,应当使用多个独立的Agent分别处理,每个Agent仅配置完成对应任务所需的最小权限。

Part09

向量与嵌入漏洞

企业通常会通过向量数据库与RAG(检索增强生成)系统扩展LLM的能力,在提示词发送给LLM之前,先从企业数据存储中拉取相关的最新信息供模型参考。

在这种架构下,攻击者可能欺骗系统检索其无权访问的信息,或是直接攻击这些数据源,通过投毒让模型输出错误信息。

OWASP明确指出,向量与嵌入漏洞存在于RAG类系统的检索基底中,而非LLM或提示词本身。OWASP表示,嵌入与向量存储构成了一个独立的攻击面,因为这类系统通常缺乏传统数据存储具备的访问控制与审计能力。 例如,多租户环境下或过滤规则不完善的向量存储可能跨租户返回文档,或是返回超出用户授权范围的内容,导致数据泄露给攻击者。

核心防护措施包括:

  • 落实细粒度访问控制,部署具备权限感知能力的向量与嵌入存储系统,对数据集进行严格分区,防止用户利用LLM获取无权访问的信息;
  • 构建可靠的数据验证管道,仅接收、处理来自可信、已验证来源的信息;针对简历等用户提交内容,使用可检测并标记隐藏文本的文本提取工具处理;
  • 对合并后的数据集进行全面审核与分类,防止出现数据匹配错误,做好访问级别管控。

Part10

输出处理不当

输出处理不当指LLM生成的内容传递给下游其他组件、系统前,未经过充分的校验、清洗与处理。由于LLM生成的内容可被提示词输入控制,这类漏洞相当于为用户提供了间接访问额外功能的通道。

例如,如果将LLM的输出直接传入系统Shell或类似功能模块,可能导致远程代码执行漏洞。 本次更新还将AI助手批量生成的不安全代码纳入了该漏洞的覆盖范围。

对应的防护措施包括:

  • 采用零信任思路,将模型视为普通用户对待,对模型返回给后端功能的响应进行严格的输入校验;
  • 遵循OWASP ASVS(应用安全验证标准)指南,落实有效的输入校验与清洗机制,对输出内容进行编码,缓解非预期代码执行风险。

参考来源:

10 most critical LLM vulnerabilities

https://www.csoonline.com/article/575497/owasp-lists-10-most-critical-large-language-model-vulnerabilities.html

推荐阅读

#

电报讨论


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:FreeBuf 《OWASP更新LLM十大漏洞榜,Agent过度权限风险大幅上升》

    评论:0   参与:  0