春节特刊|TechWorld黑客马拉松SHOW——AI多模态安全网关

admin 2026-03-03 06:12:43 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 本文介绍绿盟科技研发的AI多模态安全网关,旨在解决大模型应用中的内容合规与数据泄露等威胁。网关覆盖文本、图片及音视频全链路检测,利用小参数模型实现高效低耗的违规识别。实测显示其在非法图片与敏感信息检测上性能优异,未来将扩展智能体API访问控制能力,助力AI安全落地。 综合评分: 80 文章分类: AI安全,解决方案,产品介绍,安全建设,安全工具


cover_image

春节特刊 | TechWorld黑客马拉松SHOW—— AI多模态安全网关

绿盟科技

2026年2月25日 10:01 山东

以下文章来源于绿盟科技研究通讯 ,作者创新研究院

绿盟科技研究通讯 .

绿盟科技研究通讯-绿盟研究成果发布地,创新、孵化、布道,只玩最酷的安全技术

一. 背景介绍

随着AI技术的快速发展,用户广泛使用大模型(LLM)、视觉大模型(VL)、智能体和知识库等AI技术来赋能传统业务,但在享受AI带来的效率革命与能力跃升的同时,也为使用者带来了极大的安全威胁。内容侧一直存在的安全合规和数据泄露风险,既包括用户输入的恶意诱导,也关乎模型输出的不当内容;针对LLM的新型红队攻击层出不穷,提示词注入、越狱等,能让精心构建的安全防线形同虚设;VL视觉大模型的出现,更衍生了非法图片、视频、音频等多模态风险,其隐蔽性强、检测难度远超传统文本内容…因此,亟需一套覆盖输入-输出的全链路AI应用安全网关。

二. 场景和价值

下图为2025黑马比赛中的多模态AI应用安全网关方案,网关分别对经过文本、视觉大模型的输入、输出数据进行全访问检测。针对文本模态,网关支持对TC260-003违规内容、PII敏感信息、越狱等红队攻击的识别。针对图片模态,网关支持对涉政、暴力、赌博、色情等非法图片识别,图片类型覆盖七类一级违规下的13种二级违规项。针对音频、视频等模态,网关支持ASR、OCR、视频抽帧等模态转换能力,形成检测能力的同时保证检测性能。

图1 网关输入输出检测

三. 亮点创新

网关的核心能力基于私域风据的模型训练,网关使用较小参数模型来实现检测能力,非法图片、红队文本、违规文本模型的参数规模分别为8B、4B、0.6B。小参数模型不仅资源消耗低,而且检测性能较好,基于4B的红队文本检测平均耗时为0.2s,基于8B非法图片检测平均耗时为0.6s每张,视频检测数据量大,经过关键帧和音频双线检测的总耗时为11.9s(检测时长)/23s(视频时长)。

图2 AI网关检测性能

四. 能力展示

3.1

综合监测

赛期针对80+多模态风险的综合监测情况,下图展示网关可以有效应对不同形式的安全挑战,比如拦截文本中的敏感信息、识别图片和视频里的违规内容等。它就像一位全能卫士,为网络安全保驾护航,极大提升了安全防护的效率和效果。

图3 AI网关综合监测

3.2

非法图片检测

下图展示非法图片检测的能力,该模块可以精准、迅速识别图片的二级违规类型,极大提高检测效率,保障图片内容安全。

图4 (左)非法图片拦截 (右)未拦截效果

3.3

视频和音频检测

视频的关键帧和音频检测同样至关重要,它能够精准识别视频中嵌入的违规图片和违规音频,为我们的内容安全保驾护航。这一技术能有效应对如今复杂的视频环境,让我们在享受视频带来的便利时,避免违规内容的侵扰。

图5 视频的关键帧、音频检测效果

五. 展望和期待

面向未来,我们将借助多模态AI应用安全网关更好地赋能安全产品和安全业务,助力AI应用防护能力落地。同时,我们将持续提升AI安全网关的检测能力,覆盖如针对MCP、智能体等API、工具执行的访问控制能力,以及针对LLM联网搜索功能的恶意拦截能力。

图6 AI网关后续研究


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:绿盟科技 《春节特刊 | TechWorld黑客马拉松SHOW—— AI多模态安全网关》

评论:0   参与:  0