安全锐见｜数据分级分级为什么那么难做(二):非结构化数据分类分级的技术与落地难点

原创

JUN哥
JUN哥

君说安全

2026年10月23日 00:00
贵州

去阅读

前言

当前行业存在一个令人不安的悖论：一方面，法律法规密集出台，监管检查力度空前加大；另一方面，分类分级的实际落地效果却远未达到预期。。

多一度思考，见网安本质！

“非结构化数据分类分级的技术与落地难点？*”*

在数字经济时代，数据已成为企业最核心的生产要素。

然而，占企业数据总量80%以上的非结构化数据——包括文档、邮件、图片、音视频、源代码、聊天记录等。

非结构化数据分类分级工作长期以来都是企业数据安全治理中最棘手的难题。

IDC预测，到2025年全球数据总量将增长至175ZB，其中非结构化数据的占比超过80%。

行业调研显示，已完成数据分类分级的企业仅占38%，这其中被认为分类分级结果准确可用的企业，不足一半。

本文为数据分级分级为什么那么难做的第二篇。

本文的标题是非结构化数据分类分级的技术与落地难点。

　一、本质矛盾：语义的模糊性 vs 规则的确定性

非结构化数据分类分级的根本困难，在于人类语言和多媒体信息天然的模糊性、歧义性和语境依赖性，与分类分级所要求的精确判定之间的矛盾。

结构化数据中，\"身份证号\"字段的18位数字格式是确定的，用正则表达式即可精准识别；

但在一段自然语言文本中，敏感信息可能以各种隐含方式表达.

比如，\"那个去年刚做完心脏搭桥手术的张总\"，普通人一眼就能识别出这涉及个人健康敏感信息，但传统的关键词匹配和正则表达式对此无能为力。

这种语义理解的挑战具体表现在三个层面。

（一）同义表述问题

\"客户身份证号\"与\"用户身份凭证编码\"指向同一敏感信息，\"研发核心参数\"与\"技术机密指标\"语义等价，但字面上毫无相似之处。

规则引擎需要为每一种同义表述人工编写匹配规则，永远无法穷举。

（二）上下文依赖

单独一个词\"风险\"可能毫无敏感性，但在\"该客户风险评级为高风险，涉及不良贷款余额5000万元\"的语境下，它属于高敏感的金融风控信息。

脱离上下文的孤立匹配必然产生大量误报和漏报。

（三） 隐含语义

\"本次项目核心参数不得外泄\"这句话本身没有出现任何具体的敏感数据字段，但结合上下文可判定为涉及商业秘密的高敏感文档。

这种基于推理的隐含敏感信息识别，远超传统规则方法的能力边界。

　二、技术路线的局限：从规则引擎到大模型的演进与瓶颈

数据分类分级的技术路线大致经历了三个阶段，每种路线在处理非结构化数据时都有其难以逾越的边界。

图1：不同技术路线对结构化/非结构化数据的识别准确率对比

第一阶段：基于规则引擎的关键词/正则匹配。

这是最早成熟的技术路线，对于格式固定的结构化数据（身份证号、手机号、银行卡号）识别率可达90%以上。

但行业实测数据显示，纯正则匹配面对语义依赖的非结构化数据时准确率骤降至30%左右，面对缩写和拼音列名更是只有10%。

在老系统中，开发人员大量使用缩写、拼音和内部代号命名字段（如kh\_dj、cust\_lvl），规则引擎无法从这类列名推断出业务含义。

第二阶段：NLP与机器学习增强识别。

引入命名实体识别（NER）、文本分类等NLP技术后，非结构化数据识别准确率提升至70%-80%区间。

但这一路线面临\"标注瓶颈\"，即监督学习需要大量高质量的人工标注数据，标注1万份医疗文书需3名临床专家×120工时，成本超过28万元。

更严重的是\"领域迁移失效\"问题：某国有银行实测显示，在3类金融合同上微调的BERT模型，迁移到医疗知情同意书场景时实体识别F1值下降超过40%。

第三阶段：大模型（LLM）多模态识别。

2024年以来，大语言模型的语义理解能力为非结构化数据分类分级带来突破。

基于ChatGLM+Qwen的联合方案在金融证券数据集上准确率可达90%左右，江苏某运营商披露其在100PB数据分类分级中非结构化数据识别准确率超过80%。

但大模型同样存在明显局限，同样有三个表现。

一是\"幻觉问题\"，模型可能自信地给出错误的分类结果；

二是\"黑盒特性\"，当业务方质疑某条数据为何被标为敏感时，大模型只能给出置信度分数，无法像规则引擎那样指出具体命中了哪条规则；

三是\"成本问题\"，当对海量存量数据进行全量大模型推理时，算力成本高昂且处理时延可能影响业务运行。

三、多模态与格式多样性：被忽视的\"最后一公里\"