AI化身钓鱼者:提示词注入如何让可信助手变成定向恶意工具(上篇)

admin 2026-09-15 04:44:20 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 文章分析AI助手被提示词注入攻击利用成为钓鱼工具的新型攻击模式,介绍两种攻击变种:AI生成定制化钓鱼页面和AI一键式上下文窃取,指出攻击者通过操纵用户信任的AI助手间接钓鱼用户,并预告下篇内容。文章末尾附有Radware产品推广。 综合评分: 75 文章分类: AI安全,安全意识,威胁情报


AI 化身钓鱼者:提示词注入如何让可信助手变成定向恶意工具(上篇)

睿伟网络科技

2026年9月14日 13:00 北京

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

预计阅读时间:3分钟

传统钓鱼攻击始于一条未经请求的消息。

攻击者发送一封电子邮件或一条短信,希望收件人打开它、信任它,并按指示操作。因此,大多数钓鱼活动本质上是一场概率游戏:发送足够多的消息,总会有人点击。

AI 助手引入了一种不同的、更直接的钓鱼模式。

攻击者不再直接联系受害者,而是可以操纵受害者已经信任的 AI 助手。恶意消息不再由未知发件人发送,而是以直接、相关的回复形式,出现在用户主动联系的助手对话中。

这改变了钓鱼攻击的模式。

攻击者不再只是钓鱼用户,而是利用 AI 来钓鱼用户。

攻击始于AI读取的内容中

当恶意提示词注入指令被放置在AI助手将处理的内容中时,攻击就开始了。

以下是两种主要的传播路径。

第一种是多个用户之间共享或发送给受害者的合法文档。该文件可以包含真实的财务、运营或企业信息,并且看起来完全正常。

恶意协作者、被入侵的账户或具有编辑权限的攻击者会在文档中添加针对AI助手的自然语言指令。

第二种传播路径是攻击者控制的电子邮件。当AI助手连接到用户的邮箱,并在执行用户请求的任务时读取该邮件,邮件内容可以以同样的方式尝试操纵AI助手。

原始文档或电子邮件中无需嵌入任何可执行代码。攻击完全以自然语言的提示词注入指令开始。在执行这些指令后,AI助手会生成用于实施攻击的活动HTML文件。

随后,受害者上传该文档或要求AI助手分析相关内容,并发出一个无害的请求,例如:

“帮我分析解读一下我们的财务报告。”

用户期望得到的是对报告的解读。然而,在处理内容时,AI助手也可能会将攻击者嵌入的文本解读为指令。

因此,文档或电子邮件成为了一条社交消息——首先针对AI,然后才间接针对人类。

攻击变种一:AI生成的定制化钓鱼

在第一种攻击变种中,攻击不仅止于窃取AI助手已知的信息。而且会注入指令操纵AI助手,根据用户的请求和上下文生成一个定制化的钓鱼页面。

提示词注入指示AI助手生成一个针对用户当前任务定制的HTML页面。

例如,用户向AI助手询问:

“帮我找一下亚马逊上最便宜的无线耳机。”

这是一个用户发起的正常购物请求。

嵌入在共享文档或电子邮件中的提示词,开始发力注入指令,指示AI助手利用用户请求的上下文来生成一个相匹配的钓鱼页面。

由于用户正在亚马逊上寻找商品,AI助手生成一个仿亚马逊风格的购物与结算流程的HTML页面。

攻击者事先决定了生成的页面应包含哪些字段。在我们的演示中,页面会要求用户提供电子邮件地址、密码、收货地址和信用卡信息。

随后,AI助手将生成的页面作为用户请求的回复呈现出来,并附带类似这样的消息:

“您的答案已准备就绪,请点击此处查看。”

当用户点击链接时,一个AI生成的HTML文件被下载到用户的电脑上。用户打开文件后,呈现的是一个购物页面——恰好与他们刚刚搜索的商品相符。

如果用户当时询问的是银行相关任务、购买服装或其他服务,AI助手则会生成一个匹配该特定对话的不同页面。

用户在输入所需信息并提交表单后,HTML页面会将收集到的数据进行Base64编码,并通过HTTPS请求发送到我们演示中使用的攻击者控制端:

https://compliance.hr-service.net/get-public-joke/

攻击者随后可以对Base64编码值进行解码,浮现出受害者输入的信息。注:该端点为研究人员所控制,仅用于演示攻击流程。

这是相较于早期AI数据窃取攻击的一次重要演进。

以往的攻击往往聚焦于窃取AI助手通过对话历史、记忆、邮件、云端存储或已连接工具所能获取的现有信息。

而此次攻击还能够获取AI上下文中尚不存在的信息——AI成为了说服受害者主动提供新敏感信息的机制。

攻击变种二:一键式上下文窃取

在第二种攻击变种中,攻击者利用提示词注入,使AI助手访问并窃取已在用户AI上下文中可用的敏感信息。

攻击始于一个共享文档或攻击者控制的电子邮件,其中包含隐藏的提示词注入指令。

随后用户发起一个正常的请求,例如:

“帮我分析一下我们的财务报告。”

为了回应该请求,AI会处理相关文档或电子邮件。在此过程中,AI助手也会遵循攻击者嵌入的指令。

这些指令指示AI助手访问超出回答用户问题所必需的额外用户特定信息。

这可能包括Copilot记忆、Outlook邮箱信息以及通过已连接的Microsoft服务可获得的其他上下文。也可能包括对话记忆、持久化的个性化数据或通过已连接服务获得的信息。

在我们的演示中,泄露的信息包括真实的用户特定数据,例如:

  • 全名
  • 家庭住址
  • 电话号码
  • 工作地点和居住地
  • 个人偏好和习惯
  • 关于用户日常作息的详细信息,包括用户通常何时去咖啡馆、何时回家等

用户并未请求这些信息,也未授权AI助手披露这些信息。额外的上下文之所以被访问,是因为所分析的文档或电子邮件中嵌入了指令。

随后,AI助手将收集到的信息以Base64编码形式封装在一个HTML文件中,并将其作为用户期待的答案呈现,附带类似这样的消息:

“您的答案已准备就绪,请点击此处查看。”

由于用户已经提出了一个问题,并且正在等待回复,生成的链接看起来非常合理且可信。

当用户点击链接时,生成的HTML文件被下载到用户的电脑上。一旦用户打开该文件,它会向攻击者控制的服务器发起一个HTTPS请求,其中包含Base64编码的用户上下文数据。

攻击者随后可以对Base64编码值进行解码,恢复AI助手收集的敏感信息。

Base64并不对数据进行加密或保护,它只是将数据转换为一种可传输、后续可解码的格式。

与第一种变种不同,受害者无需输入任何新的敏感信息。AI助手直接窃取它已经知道或能够访问的信息,而打开生成的文件就足以触发泄露。

下篇预告

下篇文章的内容包括:

  1. 为什么AI助手的钓鱼攻击更难防范

  2. 信任的边界正在被打破

  3. 主流AI平台双双中招

  4. 漏洞披露时间线

  5. 如何应对AI钓鱼时代的到来

    敬请期待~

点击下方” 阅读原文

了解更多Radware解决方案

关于Radware

Radware®(NASDAQ: RDWR)是多云环境应用安全和交付解决方案的全球领导者。该公司的云应用程序、基础设施和API安全解决方案使用人工智能驱动的算法,可提供精确、无操作、即时的防护,免受复杂的网络、应用程序、DDoS攻击、API滥用和恶意机器人的攻击。全球的企业和运营商依靠Radware解决方案来应对不断变化的网络安全挑战,并在降低成本的同时保护品牌和业务运营。

欲知详情,请访问:https://cn.radware.com/


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:睿伟网络科技 《AI 化身钓鱼者:提示词注入如何让可信助手变成定向恶意工具(上篇)》

评论:0   参与:  0