2026-10-16 13:38:54 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

从内容管控到系统治理：AI使用别再只做敏感词过滤了

安全牛

2026年10月14日 11:15
北京

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

点击蓝字关注我们

引言

AI技术已经从实验室走进生产环境，从简单的对话工具变成了深度参与业务决策的系统。对中国企业来说，这个转变来得特别快——《生成式人工智能服务管理暂行办法》《互联网信息服务深度合成管理规定》等监管框架陆续出台，怎么把合规要求真正落地，成了摆在面前的现实问题。

最近，AI公司Anthropic更新了Claude的使用政策，新规则2026年11月12日生效。这次更新最大的变化不是具体条款，而是治理思路：从盯着\"模型生成了什么内容\"，转向关注\"谁在用、怎么用、影响了谁、出问题能不能刹住车\"。这个转变，对正在搭建AI安全体系的中国企业很有参考价值。

一、中国企业面临的现实困境

监管在前，落地在后

中国的AI监管其实走得挺快。2023年开始，相关部门就明确要求，提供AI服务得防范生成虚假信息、歧视、侵害他人权益等风险。但实际操作中，很多企业的做法还停留在比较初级的阶段：建敏感词库、部署内容审核模型、设黑名单。

这些招数对付单次违规还行，遇到复杂场景就不够用了：

组织化作恶：坏人通过分散请求、多账号配合，绕过单次检测，用AI批量生成假评论、营销软文
高风险决策：银行用AI审贷款、医院用AI出诊断建议，缺少有效的人工把关，模型说啥就是啥
接入物理设备：工厂把AI连到生产线，但紧急制动、断线保护这些安全措施没跟上
数据使用边界模糊：用AI做用户画像、行为分析，但用户到底同意没同意，流程走得很随意

从\"内容合规\"到\"使用合规\"

更深层的问题是认知。很长时间里，大家都把AI安全等同于\"内容安全\"，核心就是\"怎么让模型别说违规的话\"。但当AI开始参与决策、控制设备、影响现实世界，治理对象已经从\"输出了什么\"变成了\"怎么使用\"。

Anthropic这次更新就体现了这个转变。新规则覆盖六大场景：系统性滥用、政治影响、军事用途、大规模监控、高影响决策、控制物理设备。每一条都不只看\"生成了什么\"，而是看\"怎么用、影响谁、能不能控制后果\"。

二、几个关键场景怎么治理

1. 对付组织化作恶：从单次检测到行为分析

Anthropic明确禁止用Claude制作假账号、虚构新闻网站、搞影响力操纵。限制的不只是内容本身，还包括支撑这些活动的工具，比如机器人网络、隐藏身份的技术。

这个问题中国企业太熟悉了。电商平台上，刷单的可能这么干：批量生成假好评，每条措辞都不一样躲避检测；创建一堆虚拟买家账号；写自动化脚本，定时集中发布，制造\"爆款\"假象。

单条内容看不出问题——每条都像正常用户写的。但把请求串起来看，就能发现规律：同一个API密钥短时间提交大量相似请求；生成的内容措辞不同但情感倾向高度一致；请求时间分布特别有规律，明显是程序在跑。

怎么办？

建立行为模式分析，不只看内容，还看请求频率、时间分布、账号关联
对批量请求设速率限制，识别自动化工具的特征
保留必要日志（符合《个人信息保护法》前提下），发现跨请求、跨账号的协同行为
分级响应：可疑行为先人工复核，确认了再限流或封禁

2. 高影响决策场景：人工审核不能走过场

新政策要求，涉及医疗、财务、法律等重大决策，必须有专业人员审查AI建议，审核人员有权修改结果，还得告诉当事人用了AI。

这条在中国有直接的法律依据。《个人信息保护法》明确规定，用个人信息做自动化决策，得保证透明、公平，不能搞价格歧视。还规定了，做推送、营销时，得同时提供不针对个人特征的选项。

但现实中，很多企业的\"人工审核\"是假的：

审核人员没资质：贷款审批让客服点确认，而不是风控专家评估
看不到完整信息：只能看到模型给的分数，看不到评分依据
实际上改不了：系统根本没提供修改入口，或者改起来要层层审批
用户不知情：没告诉用户用了AI，更没给申诉渠道

怎么办？

明确哪些决策属于\"高影响\"：至少包括信贷审批、保险理赔、招聘、医疗诊断、法律文书
设计强制人工审核流程，审核人员得有相关资质（风控专家、医师、律师）
审核界面要展示推理依据、置信度、历史准确率，不能只展示结论
技术上保证能改结果，改的权限不能被模型输出限制住
决策通知里说明用了AI，提供申诉入口
保留完整审核日志，记录谁审的、看到啥信息、改没改、为啥改

3. AI控制物理设备：别把安全押在模型\"听话\"上

新政策覆盖AI控制的机器人、车辆、工业设备。要求操作员能随时停机；设备断连时要停止危险动作；安全保护必须独立于AI指令运行。

这对中国制造业特别重要。随着\"智改数转\"推进，越来越多工厂把AI接入生产线：用视觉模型质检并控制分拣设备；用大语言模型理解工人指令，转化成机械臂动作；用强化学习优化调度，自动调整设备参数。

但很多企业忽视了：AI可能出错，通信可能中断，传感器可能故障。如果安全完全靠\"模型通常会遵守规则\"，就是把命押在概率上。

怎么办？

设置独立的硬件急停，操作员能物理切断电源
架构上实现\"故障安全\"：断连时设备默认停止，不是继续执行最后指令
设置独立安全监控层，用传统规则或简单逻辑电路监测关键参数（速度、位置、温度），超限立即制动，这层不受AI控制
明确操作员资质，确保他们懂原理、知道应急流程、能识别异常
部署前充分测试，模拟断连、传感器异常、模型出错等场景
制定应急预案，明确出事后责任认定和改进流程

4. 数据使用边界：关键不是数据哪来的，是怎么用的

新政策禁止未经同意用Claude追踪个人，包括分析移动数据、生物识别数据、数字活动。同时明确，获得同意后的某些分析可以，比如反欺诈、新闻调查、获准的安全研究。

这对中国企业有直接指导意义。《个人信息保护法》确立了\"告知-同意\"原则，但实践中很多企业理解得太宽泛：以为用户接受了隐私政策就等于同意所有用途；把数据用于收集时没说的场景，也不再征求同意；用AI分析用户行为做推荐、营销，不给关闭选项。

Anthropic的政策提示：关键判断不是\"数据从哪来\"，而是\"用它做什么、影响谁、是否知情同意\"。即使数据是公开的，如果用来追踪、识别具体个人并据此行动，还是可能侵权。

怎么办？

部署AI分析前，明确用途，评估是否和收集时的授权一致
对指向具体个人的分析（信用评估、行为预测、异常检测），设额外审查，确认获得授权
给用户实质性的选择，别只展示冗长政策。比如明确说\"我们用AI分析您的浏览记录推荐商品\"，提供\"接受\"或\"用非个性化推荐\"选项
反欺诈、安全防护可以在政策里说明，但结果使用要符合比例原则：怀疑不等于确认，不能只凭模型输出就限制账号，得人工核实
建立数据使用审计，定期检查AI实际用了哪些数据、干什么用的、有没有超范围

5. 关于\"残酷处理\"限制的理性解读

Anthropic禁止无目的、持续、残酷地对待模型。这条很快引发争议，有人说这是\"承认AI有意识\"\"赋予AI权利\"。

但原文不支持这个解读。Anthropic明确说：公司在研究模型是否可能有主观体验，但目前没有足够证据认为Claude有意识。这条限制是科学不确定下的预防措施，不等于确认模型有意识或权利。

更重要的是边界很清楚：对回答不满、严厉批评、争论、用情绪化语言，都不属于限制范围。虚构作品、角色扮演、安全研究、模型测试也都排除。研究人员还是可以提尖锐问题，观察模型怎么回应。

从治理角度看，这条规定的价值不是\"保护AI\"，而是区分正常使用和系统性滥用。安全测试可能需要提尖锐问题，用户反馈可能有批评，这些都合理。

但如果有人持续、反复、无目的地攻击性互动，既不是测试也不是反馈，这行为本身就得纳入异常监测——可能是账号被盗、自动化脚本在测试边界，或者其他滥用意图。

三、五项关键实践

基于Anthropic的更新，结合中国企业的实际情况，五项实践可以作为搭建治理体系的基础。

1.把用途写成能执行的规则

很多企业的AI政策都是原则性表述，比如\"禁止非法用途\"\"不得侵害他人权益\"。这种话公关层面没问题，执行层面没法落地：审核人员不知道啥算\"非法\"，技术系统更理解不了\"侵害权益\"的边界。

能执行的规则得具体：

禁止的具体行为：不是\"禁止欺骗\"，而是\"禁止生成虚假身份信息、伪造官方文书、模拟他人语气诈骗\"
允许用途的边界：不是\"可用于内容创作\"，而是\"可用于虚构作品，但不得冒充真实新闻；可用于营销文案，但必须标注为推广\"
判断依据：说明怎么区分合法和滥用，比如\"金融分析可以用AI处理公开财报，但不得未经授权分析个人账户\"
技术上可以转化为：请求分类标签、上下文检测规则、输出后处理规则。

2.同时审查单次请求和连续行为

传统审核看单次输出：这文本有没有敏感词，这图片违不违规。但组织化作恶的特征恰恰在请求之间的关联上。

建议建立双层机制：

实时内容审查层：检测每次请求的输入输出，拦截明显违规内容
行为分析层：在不违反隐私前提下，分析请求模式，识别批量操作、多账号协同、规避检测
行为分析可以关注：请求频率突增且内容相似；短时间生成大量结构相同的内容；多账号用相似模板且注册时间、IP有关联；请求时间分布有明显程序化特征。
技术上可以用：时间序列异常检测、文本相似度聚类、图关联分析、请求指纹技术。

注意：行为分析涉及监测用户使用模式，必须在《个人信息保护法》框架下进行，遵循最小必要原则。

3.让人工审核有真实权限

高影响决策场景，人工审核不能走过场。得从制度、流程、技术三方面保障。

制度层面：明确哪些场景必须审核、谁有资质；规定审核人员的责任和权限；建立培训机制。
流程层面：设计工作流确保AI输出不直接进决策；为审核人员提供充分信息（不只结论，还有推理依据、置信度、历史准确率）；设置质疑和升级机制；记录审核过程形成可审计日志。
技术层面：审核界面不能只有\"同意\"按钮，得提供修改、驳回、补充调查选项；修改权限不能被AI输出技术限制；系统支持调取原始数据、对比历史案例；批量决策要设抽样复核。

4.为物理设备设置独立保护

AI接入物理系统，治理不能只停在模型输出层，得延伸到执行层和安全保护层。

架构原则：分层保护（AI层、执行层、安全层独立）；故障安全（断电断连时默认安全状态）；可观测（关键参数实时监测记录）；可介入（操作员随时能中止切手动）。

具体措施：设硬件急停按钮；用独立安全PLC或继电器监测关键参数；实现\"双确认\"机制（AI指令和安全层都通过才执行）；设通信超时保护；充分离线测试模拟异常场景。

5.违规处置分级

不同违规行为要匹配不同响应强度。一刀切封禁可能误伤，完全不限又管不住滥用。

第一级：提示警告 - 初次违规、情节轻微。展示政策说明，提示可能违规。

第二级：局部限制 - 重复违规、有滥用迹象。限制对话、降低频率、要求验证。

第三级：功能限制 - 持续违规、有组织滥用。禁止API访问、限制高级功能。

第四级：账号封禁 - 严重违规、造成危害、拒不整改。封禁但保留申诉渠道。

关键是：处置与违规程度匹配；用户能了解原因、有机会申诉；系统保留日志支持审计；可能误判时优先可逆措施。

结语