文章总结: 全国网安标委发布《生成式人工智能服务安全应急响应指南》,将GenAI安全事件按GB/T20986分为信息内容、数据、网络攻击三类并细化歧视生成、数据投毒、模型篡改、提示诱导等子类,再按影响对象、业务损失、社会危害划四级,对应功能限制、下线、上报等处置措施,给出关键词库、传播控制、算法优化等案例,为GenAI运营者提供应急准备、监测、处置、改进闭环框架。 综合评分: 88 文章分类: AI安全,应急响应,政策法规,数据安全,网络安全
生成式人工智能服务安全应急响应指南
安全进化论
2025年12月27日 11:00 广东
导读
NEWS
★
NEWS
★
全国网络安全标准化技术委员会发布《网络安全标准实践指南——生成式人工智能服务安全应急响应指南》(以下简称“《指南》”)。《指南》描述了生成式人工智能(以下简称“Gen AI”)服务安全事件的分类、分级方法,以及服务安全应急响应过程的管理措施和技术方法。
整体而言,《指南》对Gen AI服务安全事件分类分级主要是在GB/T 20986-2023《信息安全技术 网络安全事件分类分级指南》(以下简称“GB/T 20986”)以及GB/T 20985.1-2017《信息技术 安全技术 信息安全事件管理 第1部分:事件管理原理》有关网络安全事件分类分级方法、管理措施等的基础框架上,针对Gen AI服务特点、安全要求和典型场景进行延伸。
何为Gen AI服务安全事件?
根据《指南》,Gen AI服务安全事件是指由于人为原因、恶意攻击、模型的内在漏洞或缺陷等因素引起的,对Gen AI服务业务应用及其数据造成损害,对国家、社会、经济造成负面影响的事件。
Gen AI服务安全事件分类
在分类方面,《指南》按照GB/T 20986中有关网络安全事件的分类方法,将Gen AI服务安全事件分为信息内容安全事件、数据安全事件、网络攻击事件等类型。
-
信息内容安全事件:在这一类型下,《指南》进一步根据GB/T 45654-2025 《网络安全技术 生成式人工智能服务安全基本要求》附录 A中所列及的前29项安全风险信息,作为进一步分类参考,包括:违法信息、虚假有害信息、煽动教唆信息、权益侵害信息、歧视性信息生成事件。
-
数据安全事件:包括数据泄露、数据篡改、数据投毒事件。其中数据泄露主要指训练数据、模型参数和用户个人信息等的泄露;数据篡改主要指训练数据、模型参数等篡改导致生成内容异常;数据投毒则主要指干预深度学习训练数据集,加入精心构造的异常数据,破坏原有训练数据的概率分布,导致模型在某些特定条件下生成异常内容。
-
网络攻击事件:包括模型篡改、拒绝服务、漏洞利用、社会工程事件。其中社会工程事件主要指通过提示词话术设计、恶意轮询等手段诱导Gen AI服务泄露数据或执行行动。例如诱导生成个人隐私信息、诱导生成商业秘密、诱导生成恶意代码、诱导生成违法不良信息等。
Gen AI服务安全事件分级
在分级方面,《指南》按照事件影响对象(Gen AI服务业务应用及数据)的重要程度、业务损失的严重程度和社会危害的严重程度三个要素进行分级,按照GB/T 20986分为特别重大、重大、较大和一般事件,由高到低分别为一级、二级、三级和四级,并给出级别划分参考和示例:
Gen AI服务安全事件应急响应
根据《指南》,Gen AI服务安全应急响应主要包含应急准备、监测预警、应急处置、总结改进四个环节,分别应从管理措施、技术方法和外部协同三个维度组织有关工作。
其中值得关注的是,在应急处置的技术方法部分,《指南》根据事件分级提出不同措施:
- 功能限制
- 一级事件立即实施功能限制,必要时下线服务;
- 二级事件实施功能限制,必要时下线服务;
- 三级事件应实施功能限制;
- 四级事件通过局部调整或漏洞修复等措施保持服务连续性,必要时实施功能限制。
- 主管部门报告与备案
- 对于自判为三级及以上级别事件(即非一般事件),如涉及严重违反社会主义核心价值观、大规模数据泄露等可能对公众造成广泛影响的事件,当 24小时内累计发生 5 次,影响用户数量众多(用户数大于 1 万),可能造成不良社会影响的,应立即报告主管部门。
- 一般事件可以内部处置,处置完成后宜将安全事件情况、处理措施及结果等详细记录并定期报送给主管部门备案。
此外,Gen AI服务安全事件与一般网络安全事件相比凸显了其内容生成和传播的特色,内容安全事件类型的管理和应对需要结合Gen AI服务的特点进行处理,对此《指南》附录提供了Gen AI服务信息内容安全事件这一类型下的两个典型案例:
-
歧视性信息生成用户投诉和负面反馈事件(一般事件):应对措施强调了有关关键词库和测试题库的建立、更新以及根据该事件所涉话题进行扩充和优化,生成内容监控、筛查和监控规则优化,以及算法公平性调整等。
-
某药物虚假信息生成和传播事件(重大事件):应对措施强调了传播控制措施,包括临时下线服务、停止模型生成、协同主要社交媒体和新闻平台协同检查和删除虚假信息等,此外还包括关键词库和虚假信息监控规则优化、语义分析算法优化、训练数据来源和标注等机制改进等后续措施。
整体而言,《指南》从安全事件管理角度为Gen AI服务安全提供支撑,为Gen AI服务提供者在内容安全、数据安全以及网络安全事件方面的预防、监测、处置和总结等管理能力建设,以及安全事件上报等重要义务履行,搭建了基本框架并提供了详实的措施参考和示例指引。
了解详情,请点击文末“阅读原文”。
来源:TMT法律论坛
本文提供33页完整版文件下载,请点击文末“阅读原文”。
*「智盾矩阵·大模型安全智库」帮会是FreeBuf知识大陆的重量级帮会,目前已入选FreeBuf钻石星选帮会——官方认证高信誉与高质量,帮会聚焦人工智能与大模型安全领域,致力于打造全球视野下的专业资源聚合平台。截止目前帮会已累计更新3200+文档资源,为从业者提供从理论到实践的全维度知识支持。*
帮会会员权益再升级:
1、原年卡会员139元,现年卡会员99元、永久会员149元(截止2025.12.31)
2、邀请朋友加入帮会(PC端点击右下侧“邀请朋友加入”、APP端点击右上角“分享有奖”),最低可获得20%现金返现,最多邀请5人加入即可返现会员费相当于免费加入会员
3、现加入「智盾矩阵·大模型安全智库」永久会员,可获最低优惠价59元加入「锋刃联盟·全领域网络安全智库」永久会员(原价139元)(联系群主获取优惠券)
4、诚邀付费加入帮会的师傅扫码添加【群主】微信,备注知识大陆昵称,后续拉入终身会员群,享受如下待遇:
1)一对一专属找资料服务,有问必答,供资料参考(日限3份)
2)历史发布资料,百度网盘一次性打包发送
3)群内已分享资料,每月底网盘打包分享至会员,避免群内文件过期,方便会员查阅(周更)
4)不定期举行抽奖活动,赠送安全书籍等
5)永久会员享无限制查看下载帮会文件特权(年卡会员仅50文件/天)
公众号已发表帮会资源展示:
①政策、标准
香港生成式人工智能技术及应用指引
网络安全技术 生成式人工智能服务安全基本要求
网络安全技术 生成式人工智能数据标注安全规范
网络安全技术 生成式人工智能预训练和优化训练数据安全规范
网络安全标准实践指南——人工智能生成合成内容标识方法
网络安全标准实践指南——人工智能生成合成内容检测技术指南
关于通用人工智能模型提供者义务范围澄清指南的制定开展针对性咨询
通用人工智能模型提供者指南
政务大模型应用安全规范(征求意见稿)
人工智能通用大模型合规管理体系 指南
人工智能算法安全评估规范(征求意见稿)
工业和信息化领域人工智能安全治理标准体系建设指南(2025版)
生成式人工智能开发和利用个人信息处理指南
移动智能终端端侧大模型安全实施指南
安全应急大模型标准(征求意见稿)
政务大模型应用安全规范
《人工智能安全治理框架》2.0版
智能终端大模型应用评估规范
人工智能生成合成内容标识管理能力要求
智能体信任评估实施指南(征求意见稿)
生成式人工智能模型训练合规技术规范
智能终端大模型应用评估规范
智能体行为安全要求
大模型一体机产品安全基本要求
人工智能计算平台安全框架
人工智能数据处理伦理要求
人工智能通用大模型合规管理体系指南
②行业解决方案
大模型时代下的安全挑战及应对
腾讯大模型安全治理实践
360集团应用安全和基础安全建设实践
大模型与智能体安全风险治理与防护
AIGC安全评估解决方案
京东云大模型安全实践
安全大模型发展路径洞察与实践
LLM-WAF:大模型安全防护
③行业技术报告
Agentic AI安全技术应用报告
AI 组织责任:治理、风险管理、合规与文化方面
人工智能安全作为全球公共产品:影响、挑战与研究重点
AI应用于进攻性安全
人工智能法律政策图景研究报告(2025年)
云上人工智能安全发展研究报告(2025)
大模型训练数据安全研究报告
智能体安全实践报告
前沿人工智能风险管理框架
生成式人工智能与著作权:训练、创作及监管
AI风险缓解措施的研究报告
安全优先的大模型研究报告
AI赋能主动防御技术应用指南(2025版)
AI时代数字身份安全技术应用指南
AI时代网络安全产业人才发展报告(2025年)
端侧大模型安全风险与治理研究
人工智能治理案例集(2025)
机密计算保障人工智能系统安全研究报告
算力网络数据安全研究报告
人工智能安全研究报告——技术视角下的安全风险梳理与应对(2025)
金融大模型应用安全研究报告(2025)
AI模型风险管理框架
智能化安全运营中心应用指南
大模型组件漏洞与应用威胁安全研究报告
安全智能体魔方:成熟度模型评价研究报告
金融生成式AI多模态内容鉴伪与安全防御报告(2025)
2025全球可信AI治理与数据安全报告
AI时代Agent原生企业崛起-现状、趋势与风险控制(2025版)
AI安全:构建负责任且可靠的系统
Google Gemini AI安全性与红队报告
AI安全指数报告
④行业技术白皮书
终端智能体安全2025
AI风险控制实践白皮书
医疗健康大模型伦理与安全白皮书
人工智能安全治理白皮书
AI基础设施安全白皮书(2025)
AI智能体安全治理白皮书
大模型安全密码应用白皮书
金融人工智能发展与安全白皮书(2025)
阿里云百炼安全白皮书(2025)
智慧城市低空应用人工智能安全白皮书
AI 隐私安全白皮书
大模型安全白皮书
华为算力基础设施安全技术白皮书
AIGC全生命周期业务风控白皮书
AI-R-SOCC AI就绪的安全合成管理中心白皮书
低空智能网联网络与数据安全体系白皮书(2025)
以新质战斗力引领“AI+”时代网络安全
中国Data&AI数据基础设施白皮书
人工智能安全风险测评(2025 年)-白皮书
⑤行业技术论文
在MCP驱动的智能代理系统中识别和缓解第三方安全风险
LLM驱动的AI Agent通信:协议、安全风险与防御对策
⑥实务手册指南
⼤模型及多智能体系统安全⻛险分析和洞察
AI 安全⻛险评估和控制指南
生成式AI红队百次测试经验白皮书
大语言模型Prompt攻击手册
AI迷思录(应用与安全指南)
Agentic AI 红队测试指南
AI安全的红队测试方法指南
AI安全与数据保护中的法律与合规
涉及个人数据的安全AI系统基础
大型语言模型 (LLM) 安全风险、案例与防御策略
LLM越狱攻击与防御框架
生成式人工智能服务备案表&登记表
AI智能体运行安全测试标准
大模型安全威胁框架
大模型安全开发手册
人工智能安全承诺实践披露
人工智能控制矩阵
大模型 私域部署安全落地参考手册
人工智能系统开发测试与评估指南
前沿人工智能模型安全框架示例
红队AI:攻击与防御智能系统
prompt越狱手册
覆盖700余种风险,MIT发布最全AI风险数据库
人工智能系统风险管理指南
AI大模型合规100问
OWASP 智能体应用 Top 10 2026
⑦行业大会分享PPT
Deepseek应用场景中需要关注的十个安全问题和防范措施
大型语言模型(LLMs)安全防护指南
大模型驱动安全升级:腾讯代码安全应用实践
百度端侧大模型的安全建设:如何在算力与保障之间找到平衡
京东大模型安全挑战与实践:构建AI时代的安全防线
大模型平台与应用安全防护
LLM内容安全性的挑战与优化从数据到算法
MCP协议标准化研究工作沙龙—— 大模型与智能应用的信息交互主题精彩回顾
DeepSeek R1技术复现与大模型的治理与安全
AI重构全球数字基建:美的多云统一数字化底座与出海的安全合规建设
金融AIGC安全攻防构建大模型时代的数字内容风控体系
教育大模型评测体系构建与场景化测试实践
大模型幻觉检测在垂域任务的应用实践
AI赋能eBay支付风控:从用户行为到交易安全的全面智能化
大模型驱动的账户风险管理
代码大模型的安全问题 – 终端用户与模型供应商的双重视角
论如何控制大模型
大模型驱动的数据清洗与数据合规
百度基于大模型安全运营的质效提升实践
大模型上线备案&算法备案全析
AI Agent应用攻击面漫谈
LLM 间接提示注入 漏洞解析与防御路线
大模型合规安全审计
LLM&Agent安全防护实战:业务落地视角下的风险管控与解决方案
AI安全提示词注入分享
火山引擎AI安全保障实践
AI赋能红队的技术实践与效能突破
组件安全:AI检测与漏洞利用路径预测
智体赋能:基于大模型Agent的自动化渗透测试框架设计与实践
腾讯大模型安全治理实践
大模型驱动的自动化渗透测试边界突破实践
AI大模型在数据安全领域的实践探索
AI算法可信安全:如何从根本上打破AI黑盒
在幻觉与超能中前行:大模型参与安全运营的应用探索
微步安全AI实践
AI智能体安全治理的认识和实践
大语言模型中的事实性幻象
大模型安全治理与评测体系化研究与实践
人工智能时代的个人信息保护:挑战与机遇
AI赋能的DevSecOps自动化安全实践
LLMAgent安全攻防战从架构风险到应用实战剖析
AI生成代码安全边界测绘与选型指南
百度大模型 原生安全构建之路
大模型安全考量:安全的大模型解决方案
DeepSeek赋能安全运维智能化转型的实践之道
AI数据资产体系建设:从数据处理到模型评估的全生命周期闭环
从技术赋能到范式革新:快手安全大模型驱动内容审核智能化重塑
面向AI场景:可观测平台在安全运营体系建设中的实践
APP隐私合规检测-AI隐私文本分析模型
大模型安全风险与对抗实践培训
AI赋能红队的新优势
OWASP大模型安全Top 10分析与实践
智能体应用和大模型安全评测实践
检测与响应:大模型与SOAR驱动的自动化漏扫运营
攻防加速:大模型赋能 VxWorks 漏洞分析与验证效能革新
大小模型协同驱动安全升级-基于大小模型协同的数字内容风控实践
面向未来的DevSecOps:Kodem如何用AI重塑应用安全
隐私不上云,模型放心用:通过结构化语义标签实现隐私防火墙
基于Spec Driven范式,开发安全可控的SRE智能体
NLP类AI系统鲁棒性评测挑战与实践
AI驱动的智能体、车端协议与供应链安全闭环
LLM白盒检测水平越权漏洞实践
AI辅助整车信息安全TARA分析探索
大模型供应链安全的熵增效应:风险挖掘与熵减策略
AI与安全的双向赋能:从对抗到防御
基于大模型Agent构建自动化渗透测试平台的探索
AI落地软件开发的实践与挑战(华为)
攻击者视角下的业务智能体渗透
构筑智能化攻防格局_网络安全实验室的战略与未来蓝图
企业内部的渗透测试自动化探索
机遇和挑战:大模型及其生态的安全性和脆弱性
AI红队攻防实践
大模型应用落地安全风险和防护实践
轻装上阵_Javassist聚焦代码审计关键点实践
安全领域大模型构建范式与实践
免责声明:以上报告均系通过公开、合法渠道获得,版权归原撰写/发布机构所有,如涉侵权, 请联系及时删除;内容为推荐阅读仅供参考学习,如对内容存疑请与原撰写/发布机构联系。
戳底部“阅读原文”或扫描上面交流群群主二维码扫码加入获取文档,打广告者勿扰。
点分享
点收藏
点在看
点点赞
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:安全进化论 《生成式人工智能服务安全应急响应指南》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论