专家解读|程学旗:新框架新变化人工智能安全治理体系进一步深化

admin 2026-09-29 04:54:28 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 《人工智能安全治理框架3.0》正式发布,面向智能体、开源大模型等新型风险,延续风险分类、技术应对、综合治理核心逻辑,更新风险分类并优化应对措施。框架呈现三大变化:风险认知场景化、治理方式落地化、治理重心与时俱进。着重阐述沙箱监管技术,将其从测试工具升级为治理机制,并系统梳理智能体安全风险,将治理重心从输出安全扩展至行动链安全,标志着我国AI安全治理迈向精细化落地阶段。 综合评分: 85 文章分类: AI安全,政策法规,解决方案,安全建设


专家解读 | 程学旗:新框架新变化 人工智能安全治理体系进一步深化

程学旗 程学旗

中国信息安全

2026年9月28日 18:09 北京

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

文 | 中国科学院计算技术研究所副所长、研究员 程学旗

2026年9月14日,《人工智能安全治理框架3.0》(以下简称“《框架3.0》”)正式发布。《框架3.0》面向智能体、开源大模型、AI深度社会化应用带来的新型风险,延续“风险分类、技术应对、综合治理”的核心逻辑,梳理更新了风险分类,优化调整了技术应对和综合治理措施,为我国人工智能安全可控发展提供全新制度指引。

《框架3.0》较之前两版有三大变化:一是风险认知持续深化,风险刻画从宏观分类走向场景化,聚焦智能体、自主代理系统的链式传导风险,关注跨系统串联、开源供应链、认知域外溢与叠加放大;二是治理方式更加落地,针对不同能力等级基础模型、高风险智能体系统明确差异化技术管控手段,推动治理要求从原则导向转向技术落地;三是治理重心与时俱进,面向智能体提出独立的风险分类与治理框架,配套身份与权限管理、运行时监测、熔断处置等措施。

《框架3.0》着重阐述了沙箱监管技术,将沙箱从“测试工具”升级为“治理机制”,为人工智能创新提供了可操作、可退出、可问责的制度通道。欧盟于2021年4月发布的《人工智能法案》中提出人工智能监管沙盒,美国确立了AI沙盒治理的联邦统一框架和政策方向,但由于各国资源不均、规则松弛、责任豁免缺位等因素,沙箱落地严重滞后。相比之下,《框架3.0》强调“柔性、动态、可控”,并配套责任豁免制度,在制度完整性与落地性上更具优势。同时,国内科研机构为配套沙箱监管需求,研制了人工智能安全评估试验场,支撑模型从开发到运维全链条测评,把框架中的治理原则转化为可测试、可核验的技术指标,打通政策框架到工程实践的“最后一公里”。

《框架3.0》系统梳理了智能体安全风险与应对措施,将治理重心从“输出安全”扩展至“行动链安全”。《框架3.0》指出,智能体实现了从“回答问题”向“执行任务”的本质跨越,其高自主性、高权限带来隐私泄露、越权操作、行为失控等风险,治理对象必须从静态内容输出扩展至动态行动链条,治理手段必须从“结果审核”升级为“过程管控”。框架内容与国际前沿方向相呼应,如美国国家标准与技术研究院(NIST)下设的AI标准与创新中心宣布启动的“AI智能体标准倡议”、新加坡网络安全局(CSA)发布的《保护智能体AI:保护AI系统指南与配套指南的补充附录》,均强调构建完整的审计与追溯链条。《框架3.0》将智能体风险纳入治理视野并细化举措,有利于提升我国在国际人工智能治理领域的话语权。

总体来看,《框架3.0》标志着我国人工智能安全治理由体系搭建迈向精细化落地实施阶段。政策框架的落地离不开技术底座支撑,国家科研机构应持续围绕可信可管可控目标,完善理论范式、夯实技术底座,助力框架要求转化为产业实践,护航人工智能安全高质量发展。

(来源:中国网信杂志)


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。

本文转载自:中国信息安全 程学旗 程学旗《专家解读 | 程学旗:新框架新变化 人工智能安全治理体系进一步深化》

评论:0   参与:  0