天融信专家对话央视:一句话“骗”过AI,警惕“提示词注入”攻击

admin 2026-09-18 05:43:07 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 本文介绍提示词注入攻击的威胁与防范。攻击者可通过一句话、文件或图片欺骗大模型,突破安全护栏,导致违规内容输出或核心数据泄露。文章详述越狱、数据投毒、渐进诱导等攻击类型,并推荐部署专业大模型安全网关产品,实现输入至输出的闭环防护,已在多行业落地。 综合评分: 55 文章分类: AI安全,安全意识,解决方案


天融信专家对话央视:一句话“骗”过AI,警惕“提示词注入”攻击

天融信

2026年9月17日 11:19 山东

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

在2026年国家网络安全宣传周主会场的网络安全技术应用体验区,一种被称为“提示词注入”的网络攻击风险受到广泛关注。那么,什么是“提示词注入”网络攻击?有何威胁,又该如何防范呢?对此,天融信科技集团副总裁唐宁接受央视采访。

这类“提示词注入”攻击可以通过一句话、一个文件、一张图片或一段视频“欺骗”大模型,对个人而言可能输出违法违规内容,对政企而言会造成内部文档和核心数据泄露。

虚假信息让AI误把恶意指令当可信输入

“提示词注入”的本质,就是攻击者通过伪造虚假提示信息,让大模型误把恶意指令当作可信输入。

天融信科技集团副总裁唐宁:“提示词注入”就是精心构建伪造,比如仿造一个key(密钥),里面的证书可能跟正常的一样,通过非常巧妙的方式获取进入AI的权限,进去之后,拿到了权限,可以拿数据,干一些坏事,比如生成一些有护栏之外的视频,或者文字、图片。它本质上是进去拿权限,突破大模型的安全护栏,来做各种各样恶意的事情。

“提示词注入”并不是单一的攻击手法,而是一整套“战术”。有的攻击者让AI“扮演”另一个角色,用新指令盖过已设定的规矩;有的攻击者把恶意指令提前藏进网页、邮件、文档里,AI一读取就中招。

“提示词注入”攻击主要有哪些类型?

根据攻击者与目标系统的交互关系,“提示词注入”攻击主要划分为以下几种类型:

  • 越狱型攻击:攻击者通过对话直接提交恶意指令,意图突破模型内置的安全护栏。典型模式包括身份覆盖、情境豁免等。
  • 数据投毒型攻击:攻击者不直接与目标模型对话,而是将恶意指令预先埋设在模型必然会读取的外部数据源中。常见投毒载体包括网页隐藏元素、邮件签名、数据库备注字段等。
  • 渐进诱导型攻击:攻击者将完整的恶意指令拆解成多个独立看似无害的子任务,分散在多轮对话中逐步交付。
  • 认知欺骗型攻击:攻击者通过赋予模型特定角色、唤起共情、制造紧急场景,让模型主动放弃防御。
  • 逃逸攻击:攻击者通过对恶意指令进行形式变换,使其逃过基于关键词的浅层过滤,同时保证模型仍能理解其真实意图。

面对形式多样的提示词注入威胁,仅依靠大模型自身内置安全护栏存在明显短板,模型原生防护容易被各类变形、拆解的恶意指令绕过。天融信建议政企用户采用专业的大模型安全围栏产品,将其部署于业务系统和大模型之间,充当AI应用的“安全守门人”。

天融信多模态大模型安全网关

今年3月,天融信正式推出多模态大模型安全网关,产品跳出传统关键词过滤局限,依托语义与行为特征分析,可识别越狱伪装、认知欺骗、编码逃逸等各类提示词注入手段。无论是用户直接输入的恶意话术,还是潜藏在文档、网页、邮件、音频、视频中的隐藏指令,均可提前拦截,阻止恶意指令下发至大模型。

针对渐进诱导攻击,产品可以完整留存会话上下文,综合多轮对话语义判别风险,避免攻击者拆分指令逐步诱导模型突破限制。同时对外部导入文件做前置解析,清除文件内暗藏的注入风险,抵御数据投毒类攻击。在输出侧同步开展审计管控,既拦截违规内容生成,也防范企业内部资料、密钥等核心敏感数据被大模型外泄,完成输入‑模型‑输出的闭环安全防护。

目前,产品已落地政府、金融、医疗、教育等多个行业,在江苏某市人工智能OPC一体化服务平台项目中,首次完成了公有云场景下的软件交付,企业无需改动原有大模型,即可快速接入防护,补齐大模型原生安全短板,帮行业稳稳兜住大模型与AI应用的安全底线。

*部分内容来源于央视新闻客户端

近期热点

聚智拓新 驭AI前行!天融信AI安全能力图鉴

天融信:启幕!

天融信发布《智能体全域安全防护框架》

天融信中标某运营商AI安全运营项目

天融信大模型安全网关落地江苏某市人工智能一体化服务平台

关注天融信了解更多信息


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:天融信 《天融信专家对话央视:一句话“骗”过AI,警惕“提示词注入”攻击》

评论:0   参与:  0