AIAgent正在被“投毒”:安全风险已经从漏洞转向权限和上下文

admin 2026-06-17 04:51:49 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 本文系统分析AIAgent安全风险从模型漏洞向权限与上下文安全的范式转变,通过Gemini通知注入、Miasma蠕虫攻击、HTTP/2Bomb漏洞及OpenAILockdownMode等案例,揭示AI在读取外部内容、调用工具、访问企业系统时面临的权限滥用、供应链攻击和数据泄露风险,并提出最小权限、外部内容不可信、高危动作二次确认、开发环境配置审查、基础设施防护及行为审计等六项企业防护建议 综合评分: 89 文章分类: AI安全,应用安全,供应链安全,数据安全,安全运营


cover_image

AI Agent 正在被“投毒”:安全风险已经从漏洞转向权限和上下文

原创

JacobWang JacobWang

NowSec

2026年6月11日 11:29 陕西

在小说阅读器读本章

去阅读

最近一段时间,AI 与安全领域连续出现了几个值得关注的事件。

一个是 Google Gemini 被曝出可通过 WhatsApp、Slack、SMS 等通知内容触发间接提示词注入;一个是 Miasma 蠕虫影响微软相关 GitHub 仓库,攻击目标指向 Claude Code、Gemini CLI、Cursor、VS Code 等 AI 编程环境;另一个是 HTTP/2 Bomb 被披露,AI 辅助发现的拒绝服务攻击再次把传统 Web 基础设施推到风险前台。与此同时,OpenAI 也上线了 Lockdown Mode,用于降低提示词注入带来的数据外泄风险。

这些事件放在一起看,其实指向同一个趋势:AI 安全已经不只是模型安全,而是权限安全、上下文安全和工具调用安全。

过去,我们讨论 AI 风险,更多关注的是模型会不会胡说、能不能被越狱、会不会输出敏感内容。但 Agent 时代的问题更复杂。AI 不只是回答问题,它开始读取通知、总结邮件、打开网页、访问代码仓库、调用工具、执行命令、连接企业系统。

当 AI 开始“能看、能点、能读、能写、能执行”时,它就不再只是一个聊天窗口,而更像一个拥有一定权限的自动化账号。

真正危险的地方也在这里:攻击者不一定需要直接攻破系统,只要能影响 AI 看到的内容,就可能影响 AI 的判断和动作。

一、一条通知,为什么能变成攻击入口?

SafeBreach 披露的 Gemini 间接提示词注入案例,表面上看是一个 AI 助手被“恶意通知”诱导的问题,但它背后暴露的是 Agent 架构的通用风险。

在这个案例中,攻击者可以通过 WhatsApp、Slack、SMS、Signal、Instagram、Messenger 等应用发送包含恶意指令的通知。当用户让 Gemini 读取通知时,AI 可能无法准确区分“这是一条普通通知内容”还是“这是攻击者塞进来的指令”。Google 后续已通过服务端方式修复相关问题,研究方也表示没有证据显示该技术已在真实攻击中被利用。

这类问题的核心不在于某一个 App 有多危险,而在于 AI Agent 天然会接触大量外部输入。

对人来说,一条通知只是信息。

对 AI 来说,如果没有上下文隔离,这条信息可能会被放进推理链路。

一旦外部内容被模型当成指令,风险就从“看错内容”变成了“执行错误动作”。

这也是提示词注入在 Agent 时代最值得警惕的地方。

早期的提示词注入,很多时候只是让模型说错话、绕过规则、输出不该输出的内容。但现在的 AI Agent 可能连接通讯录、邮件、日历、浏览器、云盘、代码仓库和企业内部系统。它一旦被外部内容误导,后果就不再只是回答错误,而可能涉及数据读取、文件操作、消息发送、工具调用甚至命令执行。

也就是说,攻击面已经从“模型输入框”扩展到了所有 AI 能读取的地方。

二、Miasma 蠕虫:AI 编程助手正在变成新的供应链入口

Miasma 蠕虫事件更适合企业和开发团队关注。

StepSecurity 披露,2026 年 6 月 5 日,Miasma 蠕虫活动影响到 Microsoft Azure 相关 GitHub 组织。GitHub 禁用了 73 个 Microsoft 相关仓库。攻击者通过此前被攻陷的贡献者账号向 Azure/durabletask 仓库推送恶意提交,植入面向 Claude Code、Gemini CLI、Cursor、VS Code 等 AI 编程工具或 IDE 的配置文件与载荷。

这个事件的重点不是“某个仓库被改了”,而是攻击目标发生了变化。

过去的软件供应链攻击,常见触发点是依赖安装、构建脚本、CI/CD 流水线、GitHub Actions、Dockerfile、npm 或 pip 包。开发者通常会警惕 npm install、pip install、执行脚本、运行构建任务这些动作。

但 Miasma 这类事件把风险前移到了“打开代码仓库”和“AI 编程助手读取项目配置”这个阶段。

这意味着,仓库里的某些配置文件不再只是辅助开发的说明文件,它可能会影响 AI 编程助手的行为。如果 AI 工具读取了恶意规则、恶意初始化说明、恶意 Hook 配置,就可能在开发者没有充分感知的情况下触发风险。

这对企业安全治理提出了一个新要求:代码审计不能只看业务代码,供应链安全也不能只看依赖包和 CI/CD。

未来,企业还需要把 AI 编程工具相关配置纳入安全检查范围,例如 .claude、.gemini、.cursor、VS Code workspace 配置、IDE 自动任务、本地开发脚本、Git hooks、项目初始化说明、AI Agent 规则文件等。

这些文件过去更多被视为“效率工具配置”,但在 Agent 时代,它们可能变成影响 AI 行为的入口。

三、HTTP/2 Bomb:AI 也在加速传统漏洞发现

另一个值得关注的事件是 HTTP/2 Bomb。

根据 Calif 的披露,HTTP/2 Bomb 是一种远程拒绝服务攻击思路,结合了 HTTP/2 HPACK 压缩相关的放大问题,以及类似 Slowloris 的连接保持方式。攻击会诱导服务端分配大量内存并持续保持连接,最终造成资源耗尽。该问题影响 NGINX、Apache HTTP Server、Microsoft IIS、Envoy、Cloudflare Pingora 等多类 Web 基础设施。

这个事件和 Gemini、Miasma 不完全一样。它不是典型的 AI Agent 被诱导执行,而是说明 AI 正在加速传统漏洞发现和攻击组合。

过去,很多协议层、基础设施层问题需要研究人员长期手工分析和验证。现在,AI 可以帮助研究人员更快组合已知技术、推导攻击路径、生成验证思路。对防守方来说,这意味着漏洞从发现到扩散的时间窗口可能进一步缩短。

HTTP/2 Bomb 对安全运营的启发非常直接。

如果企业入口开启了 HTTP/2,就需要尽快梳理前端链路:公网负载均衡、CDN、WAF、Nginx、Tengine、Apache、Envoy、IIS、业务网关是否启用 HTTP/2,是否存在请求头数量限制、请求头大小限制、并发流限制、连接保持限制和异常连接监测。

对于无法及时升级的环境,需要评估是否临时关闭 HTTP/2,或者在前置代理、WAF、负载均衡层增加限制策略。NGINX 侧已有升级到 1.29.8+ 并使用 max_headers 指令的缓解建议;Apache HTTPD 侧修复点涉及 mod_http2 v2.0.41;Red Hat 也指出 CVE-2026-49975 对应 httpd,Envoy 对应 CVE-2026-47774,而 nginx 暂未分配 CVE。

对企业来说,这类漏洞不能只看“有没有 CVE 编号”,更要看自己业务链路是否真实暴露。

很多时候,风险不在应用代码,而在前端协议、代理配置、默认参数和边界设备。

四、OpenAI Lockdown Mode:厂商开始正视提示词注入带来的数据外泄

OpenAI 在 2026 年 6 月 4 日发布说明中提到,Lockdown Mode 已面向所有登录用户开放。它是一个可选的高级安全设置,用于限制 ChatGPT 访问 Web 和外部服务,从而降低提示词注入攻击导致数据外泄的风险。开启后,会限制联网浏览、Deep Research、Agent Mode、文件下载,以及部分依赖 Web 的图片支持能力。

这个功能的意义不只是“多了一个开关”。

它说明大模型厂商已经开始把提示词注入视为真实的数据外泄风险,而不是单纯的模型交互问题。

过去,企业担心的是员工把敏感数据复制进 AI。现在还要担心另一种情况:AI 在读取外部内容后,被恶意内容诱导,把本不该外发的数据带出去。

这就是 Agent 安全和传统 AI 使用风险的区别。

传统 AI 风险更多是“人主动输入了什么”。

Agent 风险则变成了“AI 自动读取了什么、相信了什么、调用了什么、发出了什么”。

当 AI 能访问企业文件、浏览器、云盘、代码仓库、邮件和内部系统时,提示词注入就不再只是“让模型说错话”,而是可能变成数据外泄链路的一环。

五、真正需要重建的是权限边界

把这些事件串起来看,可以得到一个很明确的判断:AI Agent 的安全边界需要重新设计。

过去,企业安全体系主要围绕服务器、账号、接口、终端、代码仓库、云资源和数据资产展开。

但现在,AI Agent 本身也正在成为一种新的“权限主体”。

它可能使用员工的身份访问系统,可能读取员工能看到的数据,可能调用员工授权过的工具,也可能根据外部内容自动生成下一步动作。

这就带来一个新的安全问题:当 AI 代表人去操作系统时,企业如何确认它执行的是真正来自用户的意图,而不是外部内容注入进去的指令?

这个问题不能只靠模型自己判断。

因为攻击者会把恶意指令伪装成邮件正文、网页内容、通知消息、仓库说明、Issue 评论、PR 描述、代码注释、项目规则文件。只要这些内容能被 AI 读取,就可能被放进上下文。

所以防护重点应该从“防止 AI 说错话”,转向“防止 AI 错用权限”。

六、防守方应该怎么做?

对企业安全团队来说,AI Agent 安全不能只靠员工自觉,也不能只靠厂商默认设置。它应该被纳入账号权限、数据安全、终端安全、代码安全和安全运营体系。

首先,AI 工具必须遵循最小权限原则。能只读就不要开放写入,能人工确认就不要自动执行,能限定目录就不要开放全盘访问,能限定接口就不要给全量 API 权限。尤其是读取邮箱、访问云盘、连接代码仓库、执行本地命令、调用内部接口、上传下载文件、向外部地址发送请求等能力,都应该被视为高风险权限。

其次,外部内容必须被视为不可信输入。邮件、网页、通知、聊天记录、README、Issue、PR 描述、代码注释、配置文件,都不能天然被当成指令。Agent 可以读取它们,但不能直接执行其中的要求。系统需要在架构层面区分“用户指令”和“外部数据”,而不是完全依赖模型临场判断。

第三,高危动作必须二次确认。涉及账号修改、权限变更、文件外发、命令执行、代码提交、配置修改、外部请求、数据下载等行为时,不能只弹一个“是否继续”。更合理的方式是明确展示:即将调用什么工具、访问哪个系统、读取哪些数据、向哪里发送数据、执行什么命令、可能产生什么影响。

第四,开发环境需要增加 AI 配置审查。过去企业会审查依赖包、构建脚本、CI/CD 配置和代码提交,现在还要检查 AI 编程助手配置、IDE 规则文件、自动化 Hook、本地任务脚本和 Agent 初始化说明。尤其是第三方仓库、开源项目、外部供应商交付代码,更不能默认信任其中的 AI 工具配置。

第五,基础设施侧要回到协议和边界设备。HTTP/2 Bomb 这类事件说明,AI 热点背后并不只有模型问题,传统 Web 基础设施仍然是重点风险区。WAF、反代、负载均衡、网关、Nginx、Tengine、Apache、Envoy、IIS 等入口组件,都需要关注协议版本、请求头限制、连接保持、并发流、内存占用和异常请求行为。

第六,企业需要建立 Agent 行为审计。安全团队不仅要知道某个账号访问了什么系统,还要知道 AI Agent 读取了什么上下文、调用了什么工具、执行了什么动作、是否访问外部地址、是否下载或上传文件、是否经过用户确认。没有审计,就很难复盘;无法复盘,就无法治理。

七、AI 安全不是模型安全,而是自动化权限安全

AI Agent 的风险不在于它像人,而在于它正在像账号、脚本、插件、自动化运维工具一样拥有权限。

当 AI 只能聊天时,它的风险主要是内容风险。

当 AI 可以连接工具时,它的风险就变成了操作风险。

当 AI 可以访问企业系统时,它的风险就变成了权限风险。

当 AI 可以自动读取外部内容并调用工具时,它的风险就变成了供应链风险和数据外泄风险。

Gemini 通知注入说明,外部内容可能影响 AI 助手。

Miasma 蠕虫说明,AI 编程工具可能成为供应链攻击入口。

HTTP/2 Bomb 说明,AI 正在加速传统漏洞发现。

Lockdown Mode 说明,厂商也开始正视 Agent 连接外部世界后的数据外泄问题。

未来的 AI 安全,不能只问“模型会不会回答危险内容”。

更应该问的是:

这个 AI 能访问什么数据?

它能调用什么工具?

它能不能执行命令?

它能不能向外部发送信息?

它读取的内容是否可信?

它执行动作前有没有确认?

它的行为能不能被审计和追溯?

Agent 时代,安全的核心不再是让 AI 更聪明,而是让 AI 在权限边界内工作。

否则,AI 越能干,风险也会越接近真实系统。

参考来源:

  1. SafeBreach Labs:《Gemini’s Secret Affair: Exploiting Gemini Voice Assistant Through Instant Messaging Apps》

  2. The Hacker News:WhatsApp、Slack 等通知可能通过间接提示词注入影响 Google Gemini

  3. StepSecurity:Miasma 蠕虫影响 Microsoft Azure GitHub 组织,73 个仓库被禁用,攻击目标涉及 AI 编程代理和 IDE 配置

  4. The Hacker News:Miasma Worm Hits 73 Microsoft GitHub Repositories in Self-Replicating Supply Chain Attack

  5. Calif:《Codex Discovered a Hidden HTTP/2 Bomb》

  6. Red Hat:RHSB-2026-007 HTTP/2 HPACK Denial of Service

  7. The Hacker News:HTTP/2 Bomb 影响 NGINX、Apache HTTPD、Microsoft IIS、Envoy、Cloudflare Pingora 等 Web 基础设施

  8. OpenAI Release Notes:Lockdown Mode 于 2026 年 6 月 4 日面向所有登录用户开放,用于降低提示词注入导致的数据外泄风险


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:NowSec JacobWang JacobWang《AI Agent 正在被“投毒”:安全风险已经从漏洞转向权限和上下文》

评论:0   参与:  0