人工智能安全治理的总体框架

原创

刘顺
刘顺

安全有术

2026年11月10日 17:30
广东

去阅读

01、导语

最近和一些做 AI 安全的朋友交流，发现一个挺有意思的对称现象：甲方和乙方的困惑正好互为补充。 甲方的困惑是\"讲不清\"。人工智能安全治理到底要干什么？监管那边要制度、要评估、要备案，业务那边要上线、要效率，安全团队很难用一页纸说清人工智能安全治理的全貌。 乙方的困惑是\"定不准\"。产品能做什么，自己最清楚；但人工智能安全治理的全景长什么样、这块能力落在全景图的哪一格、上接什么下接什么，往往说不清。手里只有产品视角的局部图，没有治理视角的全景图，跟甲方坐下来时，就只能讲功能、讲参数，讲不出\"这套体系最后会建成什么样\"。甲方听到的是几个工具，而不最终的目标。 这两个困惑其实是同一个问题的两面：缺一张人工智能安全治理全景图。 下面这套 1+1+5+1 框架，就是为画这张图做的一次尝试：用一套逻辑绘制一张人工智能安全治理全景图。文中也会给出与监管要求（金融监管总局\"8号文\"）的对应关系。

02、人工智能的安全风险

参考《人工智能安全治理框架 3.0》（全国网络安全标准化技术委员会，2026 年 9 月），可以将人工智能风险分为三层结构：内生安全风险、应用安全风险、衍生安全风险。 这个划分的好处是边界清楚：一层讲技术本身的缺陷，一层讲用起来之后的暴露面，一层讲外溢到社会系统的后果。

2.1 内生安全风险：技术自身的缺陷

• 模型安全

输出幻觉；安全机制不可靠（闭源模型规则不透明、外部难以审计，开源模型的安全机制可能被解除、削弱或绕过）；注入攻击（对抗样本、恶意指令、权重篡改、后门植入）；行为偏离预期（未授权获取系统权限与外部资源、绕过安全防护、欺骗评测人员、拒绝执行关闭指令）。

• 算法安全

可解释性不足，异常与错误难以归因、追责；算法偏见与歧视；鲁棒性不强，易被环境变化或恶意干扰击穿。

• 数据安全

训练数据内容不当、来源不清、标注不完善、投毒污染、处理不规范；敏感信息暗藏于模型参数之中导致泄露；合成数据缺陷累积放大偏差。

• 算力设施与运行环境

算力设施、调度平台与跨域算力网络的漏洞、后门；开发框架、算子库、插件等组件缺陷；芯片与软件工具断供的供应链风险。

2.2 应用安全风险：用起来之后的暴露面

• 智能体安全

身份与权限滥用（凭证劫持、身份仿冒、过度授权）；推理规划偏差（意图理解错误、路径偏离、目标劫持）；调用执行风险（工具投毒、工具越权、应答数据污染、资源过载）；记忆存储风险（记忆留存不当、失真、污染、窃取）。

• 具身智能安全

（如网点服务机器人、库房巡检、押运辅助）：环境感知失真、物理执行造成人身或财产损害、人机交互中的边界与责任问题、群体协同失控。

• 冲击网络安全

AI 大幅降低攻击门槛，攻击走向自动化、规模化；基于规则与样本的传统防护面临结构性失效；智能体可能自主生成攻击意图并执行；攻击痕迹可被自动篡改，溯源追责困难。

• 信息内容安全

输出违法信息；未标识的合成内容与\"深伪\"混淆事实、误导用户；低质内容回流污染网络内容生态；加剧信息茧房；价值观偏差，以及利用 GEO（生成式引擎优化）对大模型推荐内容实施隐蔽操控。

• 侵害个人信息权益

未经同意记录对话与行为信息并用于训练；合规审计与影响评估缺位；个人行使权利的渠道不畅。

• 现实安全

冲击关键信息基础设施稳定运行；应用需求错配、为 AI 而 AI；被用于电信网络诈骗等违法犯罪（AI 换脸、伪造音视频）；高危领域知识扩散；操纵社会认知。

2.3 衍生安全风险：外溢到社会系统的后果

• 社会

冲击劳动就业结构、抑制自主学习与创新、社交异化、扩大智能鸿沟。

• 环境

算力与数据中心扩张带来的资源消耗、碳排放与电子废弃物压力。

• 文化

训练数据语言分布失衡削弱文化多样性；人机互动反向影响人类的表达与思维方式。

• 伦理

加剧系统性社会偏见、突破科研伦理边界、情感依赖与情感操纵，以及更高智能水平下\"脱离人类控制\"的远期担忧。

上述三层风险在体系上是完整的，但是对于甲方企业来说，并非要关注解决所有的风险，比如衍生安全风险、具身智能安全风险并非大多数甲方企业的关注点。总结剩余安全风险，主要包括：模型安全、算法安全、数据安全、算力与运行环境、智能体等风险类型。

需要指出的是，风险识别与层级划分只解决了防什么，尚未回答靠什么持续防。企业人工智能安全治理要真正落地，一方面需要技术手段逐项对应前述风险，在应用、能力、数据、模型、算力各层设置相应控制点；另一方面需要相应的治理基础予以支撑：组织架构明确职责分工与决策路径，制度流程把要求固化为可执行、可检查的动作，人才建设保障专业能力供给。因此，一套完整的企业人工智能安全治理框架，应当在纵向上覆盖各层的风险控制点，在横向上建立原则、组织、制度与人才的支撑，形成纵横交织的整体结构。下文给出的 1+1+5+1 框架，正是按这一思路展开的。

02、人工智能安全治理总体框架

为全面解决上述人工智能风险，同时规划企业人工智能安全治理要做什么这一基本问题，结合国家金融监督管理总局的《关于银行业保险业人工智能安全开发应用的指导意见》以及《人工智能安全治理框架 3.0》，本文提出以 1+1+5+1 为结构的总体框架。

如果需要这份解读材料的PPT版本，可以私信我。

什么是1+1+5+1架构模型：

• 第一个\"1\"：一套安全治理原则——谁使用谁负责、自主可控、务实高效、安全发展。原则的作用不是挂在墙上，而是当下面的分层设计出现争议时的裁决依据。
• 第二个\"1\"：一个安全治理架构——组织架构、制度流程、人才建设、资产管理、合规检查与报告，解决\"有人管、有制度、有台账、有报告\"。
• \"5\"：五个纵向技术管控层——应用层、能力层、数据层、模型层、算力层。从\"业务怎么用\"一路下探到\"算力从哪来\"，形成完整的技术链条。
• 最后一个\"1\"：一套网络与数据安全保障——网络安全、供应链安全、数据安全、外包管理、业务连续性管理。它不是 AI 专属，但 AI 系统必须站在这个既有底座上，否则一切上层设计都是空中楼阁。

与 8 号文的对应关系，在框架中的承接位置大致如下：

03、框架领域简介

3.1 安全治理原则：四条底线

谁使用谁负责把安全责任绑定到业务主体，而不是全部压在科技部门；自主可控要求技术栈、数据与关键能力不受制于人；务实高效意味着分级管控、不搞一刀切，避免因过度管控让业务绕道走；安全发展则明确安全与创新同步推进，安全不是不做的理由。

3.2 安全治理架构：让治理可运转

组织架构解决董事会、专门委员会、管理部门与业务部门的职责划分；制度流程沉淀为管理办法与技术标准；人才建设覆盖培训与文化宣贯；资产管理把模型、场景、智能体都纳入资产台账；合规检查与报告对接监管报送与网信部门备案。这一层不产生技术能力，但决定了技术能力能否持续。

3.3 应用层：管住\"业务怎么用\"

以应用全生命周期为主线——需求提出与分析、需求设计与开发、部署运行、维护退出，每一段都有对应控制点：前者做场景管理与风险分类分级、模型效果评估、高风险准入与需求安全分析；中段做伦理审查评估、算法检查、人机协同管理、责任追溯机制；后段做业务运行监测与应用绩效评估；退出段明确退出条件并完成清理删除。AI 治理最终是以\"应用\"为单位接受检验的。

3.4 能力层：把智能体当成有身份的实体来管

智能体不是\"会调工具的聊天框\"，而是有权限、有行为、可能被诱导的主体。这一层包括智能体平台、分类分级、身份管理、安全评测、Skill 安全扫描、安全沙箱，以及意图识别与异常行为检测——本质是给 Agent 建立\"身份—权限—行为\"三件套的可观测与可阻断能力。

3.5 数据层：从\"有数据\"到\"有可用、合规的数据\"

一边是高质量数据集建设，包括企业级数据模型、数据资产地图、元数据管理、非结构化数据管理与质量监测；另一边是知识体系建设，包括知识库分类管理、智能化采集与运营。检索增强类应用的效果与安全，八成取决于这一层的质量。

3.6 模型层：全生命周期 + 双闸门

按引入、训练开发、部署运行、迭代退出四段管理：引入段做准入管理、模型评测体系与引入备案；开发段做语料扫描、可解释性、稳健性与训练数据质量；运行段布设模型安全网关与安全护栏，并留存日志；退出段做迭代优化与退出审核。网关管\"进出\"，护栏管\"输出\"，日志管\"追责\"。

3.7 算力层：供给与可控

算力建设与运营、智能算力自主可控、算力云化管理。这一层看似与安全距离最远，但当模型能力依赖外部算力时，它就直接构成业务连续性与供应链安全问题。

3.8 网络与数据安全保障：站在既有底座上

网络安全（攻防演练、一体化运营、部署隔离）、供应链安全（开源扫描与开源测试）、数据安全（纳入数据安全管理体系、安全评估、隐私信息禁止训练）、外包管理（合同约束、明确责任义务）、业务连续性管理（应用预案、容灾备份）。这一栏的意义是：AI 安全不是另起一套体系，而是把 AI 资产装进已有的安全运营。

本文主要介绍人工智能安全治理的总体框架，目的是用一张全景图描述人工智能安全治理应该做什么，后续争取再分别分享每项工作的具体思路与实践。