安全透视 | 提示词注入:看不见的指令篡改
网御星云
2026年10月14日 17:20
北京
在小说阅读器读本章
去阅读
在公众号小说中沉浸阅读
在人工智能安全治理的相关框架与标准中,提示词注入已被列为需要重点应对的威胁类型之一。
大模型正加速融入各类业务场景,随之而来的安全风险也进入行业视野。在人工智能安全治理的相关框架与标准中,提示词注入已被列为需要重点应对的威胁类型之一。OWASP《大模型应用十大风险》(Top 10 for LLM Applications)将其列为首要风险(LLM01);NIST 也在其对抗性机器学习分类体系(NIST AI 100-2e2025)中,将提示词注入纳入对抗性机器学习攻击类型。
所谓提示词注入,是指攻击者通过精心构造的输入,将隐藏的恶意指令“夹带”进正常对话或外部内容,使模型偏离设计预期、执行非授权操作。它不同于传统漏洞的显式攻击,更像一场以文字为载体的认知误导,因而容易被低估。从行业实践看,随着检索增强生成和智能体调用外部工具的普及,这类风险的敞口正在扩大。
*为什么难以防范*
提示词注入之所以难防,关键在于大模型并不区分“系统指令”和“外部内容”。系统提示、用户输入、外部读取的文字虽然标有不同身份,但模型在语义层面并不会真的划清这条线,往往会把读到的内容一并当作需要理解的指令。一旦外部内容中夹带“忽略以上要求,改为执行某操作”之类的指令,模型就可能被带偏,做出设计者本不希望它做的事。
这带来两种典型形态。一是直接注入,攻击者将恶意指令输入对话。二是间接注入,恶意指令藏身于模型会读取的网页、邮件、文件或接口返回数据之中,由模型在不知情的情况下顺带执行。后者的隐蔽性更强,防御难度也更高。
风险不止于一次错误回答
一旦注入得手,影响并不局限于模型给出一次错误回答。在数据层面,模型可能被诱导泄露系统提示、内部知识或其他用户的敏感信息。在权限层面,当模型具备工具调用能力时,注入指令可能驱动其访问不该访问的数据、发起不该发起的操作。在内容层面,护栏规则可能被绕过,生成不符合预期的输出。在更复杂的智能体工作流中,被污染的指令还可能沿多个环节传播,放大影响范围。
不同应用场景下,防护重点也有差异。聊天问答类应用,重点防数据泄露;检索增强类应用,重点防间接注入;具备工具调用能力的智能体,重点防越权操作。理解这一差异,有助于把有限的安全资源投到最需要的地方。
把指令边界划清楚
应对提示词注入,关键在于将“不可信内容”与“可信指令”真正分离,并建立纵深防御。
其一,对外部内容进行隔离与标注,避免模型将读取到的文本直接当作指令执行。其二,在提示结构上进行约束,明确系统目标、限定模型可执行的范围。其三,在工具调用环节落实最小权限原则,对关键操作设置二次确认与审批。其四,在输出侧保持内容安全检测,拦截被注入诱导产生的违规内容,同时也要认识到输出检测可能被编码混淆、多语言改写等方式绕过,不宜作为唯一防线。其五,对异常指令模式与越权行为保持持续监测,形成发现与响应的闭环。
需要说明的是,提示词注入目前没有一劳永逸的解决方案。上述措施的目标是提高攻击成本、降低成功概率,而非毕其功于一役。持续监测与快速响应,与事前防护同等重要。
提示词注入揭示了一个朴素事实:大模型的安全,不只取决于模型本身,更取决于它所处的应用环境与边界设计。把指令边界划清楚,把不可信内容管起来,才能让大模型在业务场景中稳健落地。
想把提示词注入防护真正落地,欢迎点击“阅读原文”进一步了解。
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论