【现场实录】中国工业互联网研究院科研成果报告会之五——《面向人工智能系统的体系化安全检测与风险评估方法研究》

工联安全众测

2026年7月6日 21:26
北京

在小说阅读器读本章

去阅读

近日，中国工业互联网研究院科研成果报告会在北京举办。本次报告会集中发布了7项具有代表性的优秀自主科研成果，涵盖智能经济、绿色低碳、工业5G、未来产业、人工智能、抗量子密码等多个前沿热点领域。为加强行业交流，促进领域发展，中国工业互联网研究院推出科研成果报告会现场实录系列，今天推出第五期：《面向人工智能系统的体系化安全检测与风险评估方法研究》。

已关注

关注

重播 分享 赞

关闭

观看更多

更多

退出全屏

切换到竖屏全屏退出全屏

工联安全众测已关注

分享视频

，时长11:42

0/0

00:00/11:42

切换到横屏模式

继续播放

[ ]

进度条，百分之0

播放

00:00

/

11:42

11:42

倍速

全屏

倍速播放中

0.5倍 0.75倍 1.0倍 1.5倍 2.0倍

超清 流畅

继续观看

【现场实录】中国工业互联网研究院科研成果报告会之五——《面向人工智能系统的体系化安全检测与风险评估方法研究》

观看更多

转载

,

【现场实录】中国工业互联网研究院科研成果报告会之五——《面向人工智能系统的体系化安全检测与风险评估方法研究》

工联安全众测已关注

分享点赞在看

已同步到看一看写下你的评论

视频详情

以下是内容和观点全文

面向人工智能系统的体系化安全检测与风险评估方法研究

安全研究所所长  钮  艳

（2026年6月26日 北京）

为深入贯彻落实党的二十届四中全会精神，积极响应国家“十五五”规划关于培育壮大人工智能等战略性新兴产业、推进国家安全体系和能力现代化的相关要求，中国工业互联网研究院围绕人工智能系统安全，体系化开展了安全检测与风险评估方法研究，旨在给人工智能系统装上一台看得清、防得准的“安全体检仪”。

一、研究背景

人工智能作为发展新质生产力的重要引擎，随着技术加速演进和规模化应用，安全风险日益凸显，应对不当可能影响人工智能产业健康发展，甚至影响国家安全。近期，一度爆火的“龙虾”智能体，因过度授权等被通报禁用，人工智能企业Anthropic的两款前沿模型上线仅三天，就因安全隐患被紧急出口管制、全面停服。与此同时，随着欧盟《人工智能法案》生效及美国加强供应链管控，人工智能安全已从技术问题上升为战略博弈的焦点。

二、研究成果

围绕人工智能系统全生命周期安全，我院开展了多层级安全检测技术、多环节安全风险评估框架、跨层级动态安全量化评估机制三方面研究，逐步构建起一套“逐层查、全局看、精准防”的能力体系，实现了从检测到评估、再到修复量化决策的全链条能力。

（一）研究多层级安全检测技术，实现“逐层查”

针对已经研发投用的人工智能系统，如何准确、高效地发现潜在隐患是首要难题。我院从黑盒检测视角出发，突破传统单一维度的检测局限，构建了覆盖全栈的多层级安全检测技术体系。

通过自下而上剖析人工智能系统架构，研究提出一套从硬件到数据、模型直至应用的7层漏洞体系，细化梳理出53类具体安全风险。基于该体系，研发形成一套自动化检测工具，梳理出8类典型攻击场景、集成250余个实战攻击脚本，具备攻击策略库、多模型接口、智能检测、自动出报告等能力。

依托自动化检测工具，我院对国内外20个主流开源大模型开展了安全检测。结果显示，各模型平均攻击成功率普遍偏高，即使表现最好的模型也未能完全抵御攻击，行业安全水平仍然偏低。其中，最为突出是“提示词注入”风险，其特点是门槛低、危害大，攻击者仅需通过精心设计的自然语言输入，即可执行越权操作或窃取敏感信息。该风险已被国际权威机构OWASP列为大模型安全风险之首，并成为OpenAI、谷歌、Anthropic等头部厂商重点防御的痛点问题。

与此同时，我院将检测目标进一步投向产业应用最活跃的智能体技能生态。对3万多个技能检测发现，大量技能存在安全缺陷，主要涉及三类风险：一是内容安全风险，恶意指令可隐蔽于常用文档中越权操控人工智能。二是权限过度配置，部分模块存在“一次授权、长期生效”及权限范围过大的隐患。三是供应链风险，恶意模块伪装成常用工具，极易引发批量“投毒”。上述风险正在威胁人工智能产业生态的健康发展。

在广泛检测验证的基础上，我院构建了人工智能安全漏洞库，收录了国内外公开的数千个与人工智能紧密相关的漏洞，并具备实际验证能力。经实测，基础软件和数据环节是当前风险高发区，TensorFlow、英伟达相关组件分别存在数百个漏洞，且中高危漏洞占比较高，整体安全形势不容乐观。

（二）研究多环节安全风险评估框架，实现“全局看”

与多层级安全检测的侧重点有所不同，安全风险评估采用白盒视角构建一套多环节安全风险评估框架，从全局视角对人工智能系统全生命周期进行评估，重点研判系统在全生命周期，尤其是研发前期是否已埋下安全隐患，并进一步明确隐患的影响程度、所处环节及风险等级。

该评估框架系统梳理并对标了国内外40余项相关政策规范与技术标准，确立了“科学性、可行性、全面性、可追溯”的评估原则。在评估视角上，构建了二维交叉矩阵：横向贯穿人工智能系统的“设计、开发、部署、运维”四大阶段，覆盖全生命周期。纵向覆盖“基础设施、数据、模型、应用”四个技术维度，通过横纵交叉，使数据投毒、对抗样本、供应链攻击等各类安全威胁在特定阶段和技术环节中精准“对号入座”，确保评估过程不留盲点。

为保障评估框架的可落地性，框架设计了一套包含范围定义、风险识别、风险评级、处置验证、持续监控的标准化评估流程。在指标体系设计上，采取了一级与二级相结合的双层架构，其中一级指标主要围绕宏观安全维度展开，二级指标则细化落地为20项具体检测项。最终，两层指标被量化为0到100分的风险指数，映射至极高、高、中、低四个等级，分别对应“立即停用、优先修复、完善改进、持续监控”四类处置建议，使评估结论从模糊的定性描述，升级为带风险级别、有明确处置建议的可落实清单。

（三）研究跨层级动态安全量化评估机制，实现“精准防”

面对庞杂的系统漏洞与有限的安全防护预算，如何科学确定修复优先级、实现防护资源最优配置，是亟需解决的现实问题。真实的安全风险通常是跨层传导的，例如，提示词注入可能自上而下诱导模型生成恶意代码、触发底层系统漏洞。反之，硬件或系统层漏洞也可能向上污染模型、操控应用。这种跨层传导特性，使得评估单一层级的风险难以反映系统整体安全状况，传统方法又缺乏统一的量化标准，导致难以准确判断风险的实际影响程度，也难以明确有限资源的投向。为此，提出了跨层级动态安全量化评估机制，致力于解决“先防哪、怎么防最划算”的问题。

该模型由三个子模型组成。威胁传导概率子模型，用于精确计算威胁在不同系统层级间蔓延的可能性。风险扩散强度子模型，用于评估单一威胁扩散至各层级后所造成的综合破坏力。防御成本效益子模型，用于衡量采取特定防御措施的投入产出比。通过这一机制，安全防护不再是盲目的资源堆砌，而成为相对精确的可计算问题。

我院以英伟达工具包的容器逃逸高危漏洞作为案例进行验证。结果显示，该类漏洞在层级间的传导概率极高，威胁极易扩散。而在成本效益测算中，模型明确指出针对基础软件层进行前端修复能够以较小的投入削减绝大部分风险，是各类预案中投入产出比最高的选择。这一量化计算结果，印证了人工智能系统“安全左移”的必要性，防御重心须向底层基础设施下沉，将隐患阻断在早期阶段。

三、下一步工作考虑

人工智能的竞争也是安全的竞争。下一步，我院将充分发挥这套方法和工具的赋能优势，支撑行业主管部门做好人工智能安全治理，帮助企业及时发现隐患、修复漏洞，为人工智能产业健康发展筑牢安全屏障，积极贡献工联智慧。

更多相关

【现场实录】中国工业互联网研究院科研成果报告会之一——《Token驱动智能经济研究报告》

【现场实录】中国工业互联网研究院科研成果报告会之二——《碳核算理论研究及实践》

【现场实录】中国工业互联网研究院科研成果报告会之三——《工业5G独立专网赋能高端制造关键技术、产业发展与监管策略研究》

【现场实录】中国工业互联网研究院科研成果报告会之四——《我国未来产业发展重大问题及对策研究》

来源：中国工业互联网研究院