文章总结: 本文介绍绿盟科技研发的AI多模态安全网关,旨在解决大模型应用中的内容合规与数据泄露等威胁。网关覆盖文本、图片及音视频全链路检测,利用小参数模型实现高效低耗的违规识别。实测显示其在非法图片与敏感信息检测上性能优异,未来将扩展智能体API访问控制能力,助力AI安全落地。 综合评分: 80 文章分类: AI安全,解决方案,产品介绍,安全建设,安全工具
春节特刊 | TechWorld黑客马拉松SHOW—— AI多模态安全网关
绿盟科技
2026年2月25日 10:01 山东
以下文章来源于绿盟科技研究通讯 ,作者创新研究院
绿盟科技研究通讯 .
绿盟科技研究通讯-绿盟研究成果发布地,创新、孵化、布道,只玩最酷的安全技术
一. 背景介绍
随着AI技术的快速发展,用户广泛使用大模型(LLM)、视觉大模型(VL)、智能体和知识库等AI技术来赋能传统业务,但在享受AI带来的效率革命与能力跃升的同时,也为使用者带来了极大的安全威胁。内容侧一直存在的安全合规和数据泄露风险,既包括用户输入的恶意诱导,也关乎模型输出的不当内容;针对LLM的新型红队攻击层出不穷,提示词注入、越狱等,能让精心构建的安全防线形同虚设;VL视觉大模型的出现,更衍生了非法图片、视频、音频等多模态风险,其隐蔽性强、检测难度远超传统文本内容…因此,亟需一套覆盖输入-输出的全链路AI应用安全网关。
二. 场景和价值
下图为2025黑马比赛中的多模态AI应用安全网关方案,网关分别对经过文本、视觉大模型的输入、输出数据进行全访问检测。针对文本模态,网关支持对TC260-003违规内容、PII敏感信息、越狱等红队攻击的识别。针对图片模态,网关支持对涉政、暴力、赌博、色情等非法图片识别,图片类型覆盖七类一级违规下的13种二级违规项。针对音频、视频等模态,网关支持ASR、OCR、视频抽帧等模态转换能力,形成检测能力的同时保证检测性能。
图1 网关输入输出检测
三. 亮点创新
网关的核心能力基于私域风据的模型训练,网关使用较小参数模型来实现检测能力,非法图片、红队文本、违规文本模型的参数规模分别为8B、4B、0.6B。小参数模型不仅资源消耗低,而且检测性能较好,基于4B的红队文本检测平均耗时为0.2s,基于8B非法图片检测平均耗时为0.6s每张,视频检测数据量大,经过关键帧和音频双线检测的总耗时为11.9s(检测时长)/23s(视频时长)。
图2 AI网关检测性能
四. 能力展示
3.1
综合监测
赛期针对80+多模态风险的综合监测情况,下图展示网关可以有效应对不同形式的安全挑战,比如拦截文本中的敏感信息、识别图片和视频里的违规内容等。它就像一位全能卫士,为网络安全保驾护航,极大提升了安全防护的效率和效果。
图3 AI网关综合监测
3.2
非法图片检测
下图展示非法图片检测的能力,该模块可以精准、迅速识别图片的二级违规类型,极大提高检测效率,保障图片内容安全。
图4 (左)非法图片拦截 (右)未拦截效果
3.3
视频和音频检测
视频的关键帧和音频检测同样至关重要,它能够精准识别视频中嵌入的违规图片和违规音频,为我们的内容安全保驾护航。这一技术能有效应对如今复杂的视频环境,让我们在享受视频带来的便利时,避免违规内容的侵扰。
图5 视频的关键帧、音频检测效果
五. 展望和期待
面向未来,我们将借助多模态AI应用安全网关更好地赋能安全产品和安全业务,助力AI应用防护能力落地。同时,我们将持续提升AI安全网关的检测能力,覆盖如针对MCP、智能体等API、工具执行的访问控制能力,以及针对LLM联网搜索功能的恶意拦截能力。
图6 AI网关后续研究
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:绿盟科技 《春节特刊 | TechWorld黑客马拉松SHOW—— AI多模态安全网关》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论