2026-10-16 04:16:54 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

全生命周期需求视角的高质量数据集供给研究

内生安全联盟

2026年10月6日 11:00
江苏

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

以下文章来源于信息通信技术与政策
，作者樊威，李荪等

信息通信技术与政策
.

工业和信息化部主管、中国信息通信研究院主办的专业学术期刊。定位于“信息通信技术前沿的风向标，信息社会政策探究的思想库”。

作者简介

樊威

中国信息通信研究院人工智能研究所高级工程师，主要从事人工智能高质量数据集建设及数据标注等相关研究工作。

李荪

中国信息通信研究院人工智能研究所平台与工程化部副主任，高级工程师，主要从事人工智能政策、标准、产业研究等相关研究工作，涵盖机器学习、语音感知认知技术及其与产品的融合应用等。

闫树

中国信息通信研究院人工智能研究所副总工程师，正高级工程师，主要从事人工智能、大数据相关标准、产业研究工作，涵盖高质量数据集建设、数据领域核心技术等。

王甜甜

中国信息通信研究院政策与经济研究所监管研究部主任工程师，高级工程师，主要从事人工智能、平台经济相关标准、产业研究工作。

曹峰

中国信息通信研究院人工智能研究所平台与工程化部主任，高级工程师，主要从事人工智能政策、产业及应用相关研究工作。

论文引用格式：

樊威, 李荪, 闫树, 等. 全生命周期需求视角的高质量数据集供给研究[J]. 信息通信技术与政策, 2026, 52(5): 2-9.

全生命周期需求视角的高质量数据集供给研究

樊威1 李荪1 闫树1 王甜甜2 曹峰1

（1 中国信息通信研究院人工智能研究所，北京 100083；

2 中国信息通信研究院政策与经济研究所，北京 100083）

摘要：随着人工智能技术快速迭代，模型训练已从通用规模扩张阶段，进入行业应用驱动、高质量数据支撑的新阶段，数据的类型、质量与供给能力直接决定模型的行业适配性与应用落地效果。在大模型全生命周期内，数据需求是差异化的，且面向行业场景的高质量数据集供给尚存短板。基于此，聚焦大模型预训练、监督微调、强化对齐、工程应用全阶段，梳理各阶段数据需求的演进趋势，对比国内外高质量数据供给差异，剖析我国在公共数据利用、数据开源、标注生态等方面的短板，从而针对性地提出优化数据供给的对策建议，为突破大模型训练数据瓶颈、推动人工智能产业发展提供支撑。

关键词：高质量数据集建设; 数据训练需求; 训练数据瓶颈; 供给差异

0 引言

数据是人工智能（Artificial Intelligence，AI）发展的关键要素。当前，全球AI大模型竞争激烈，数据已从模型基础资源跃升为决定模型能力上限的核心要素。我国高度重视高质量数据集的建设，在政策布局、技术推进和产业发展等方面均作出了诸多探索。高质量数据集具有规模大、准确性高、覆盖领域广、知识密度高等特征，能够显著提升AI模型的性能、可靠性和应用效果。大模型在不同的训练阶段需要不同的语料供给。从大模型语料库建设情况看，国内外呈现出不同的资源禀赋与发展路径。

1 大模型全生命周期数据需求情况

从2018年GPT-1大模型的惊艳亮相，到如今GPT-5、Claude 3等多模态模型的广泛应用，大模型技术正经历从“实验室技术突破”到“行业价值创造”的关键跃迁。如果说算法是大模型的“大脑”，算力是“心脏”，那么数据就是支撑其运转的“血液”。随着技术成熟度不断提升，大模型训练已进入行业应用驱动的新阶段，行业数据、时序数据、知识库数据、动补数据、交互反馈数据等成为未来前沿模型和行业模型关注的焦点。

大模型的生命周期分为预训练、后训练（包含监督微调和强化对齐）和工程应用3个阶段，各阶段数据需求各不相同（见图1）。

图1 大模型全生命周期的数据需求情况

1.1 预训练，大模型的“原始数据基建”

预训练是大模型构建通用认知能力的起点，其关键目标是让模型在海量无标注数据中自主学习语言逻辑、各类知识体系和世界运行规律，进而形成可迁移、可复用的基础认知能力。这一阶段的数据选择直接决定了模型的知识广度、认知下限和基础性能，而公共数据、百科与用户生成内容（User Generated Content，UGC）、期刊与学术文献、书籍与专业出版物、爬虫数据这5类数据源，共同构成了全球大模型数据密度演进的重要支柱。

公共数据具备权威性、普适性和强公共属性，是模型理解社会运行规则、提升国情适配性的关键；百科与UGC以结构化形式沉淀大众常识，补充场景化、生活化知识；期刊与学术文献承载前沿专业知识，经同行评审确保内容严谨，为模型注入专业深度；书籍与专业出版物呈现系统连贯的知识体系，强化模型的逻辑推理和长篇文本理解能力；爬虫数据虽体量庞大、覆盖广泛，但噪声较高，随着模型对数据质量要求的提升，其在预训练中的占比逐年下降。整体来看，预训练数据已从早期追求“广而全”的规模导向，逐步向“精而准”的质量导向演进，其中高质量专业数据的占比持续提升，支撑模型向更专业、更精准的方向发展。

1.2 后训练之监督微调，指令驱动的“能力塑形”

监督微调是大模型能力定向优化的关键环节，其本质是通过“指令—响应”配对数据对预训练模型进行针对性训练，引导模型学习如何根据人类指令生成有用、准确、贴合需求的输出，实现能力的精准塑形。

这一阶段的核心数据源主要分为4类：“指令—响应”配对数据中的单轮问答与开放式生成数据是最基础的指令类型，单轮问答数据用于训练模型的基础理解和信息提取能力，开放式生成数据则侧重培养模型的创作、规划和表达能力，这类数据多来自人工标注或公开对话语料筛选；多轮对话数据模拟真实人类交互的连续性，重点强化模型的上下文关联能力和对话逻辑，让交互更自然，在医疗问诊、客户服务等行业场景中尤为重要；任务执行与工具使用数据是提升模型实用价值的核心，涵盖各类任务处理和外部工具调用场景，能使模型突破纯文本生成局限，从而具备代码生成、数据分析、实时查询等实际操作能力；安全与对齐数据由人工标注团队基于伦理准则构建，是大模型合规落地的重要保障，用于校准模型价值观，引导模型拒绝有害、有偏见或误导性的输出，使之贴合国内监管要求。

1.3 后训练之强化对齐，人类偏好的“价值锚定”

强化对齐是大模型后训练的进阶阶段，其核心目标是通过人类反馈持续优化模型输出，使模型更贴合人类的主观偏好、价值判断和实际需求，解决模型输出与人类预期脱节的问题。

这一阶段的核心数据主要分为两类：专业标注员对模型的多个输出结果进行两两排序或打分，优先选择更符合“有用性、诚实性、无害性”的数据作为人类偏好数据，这类数据用于训练奖励模型（Reward Model，RM），使模型学会判断输出质量的高低，精准捕捉人类的隐性需求（这类需求往往无法通过规则硬编码，只能通过标注员的主观判断传递给模型）；指令数据集包含庞大且多样化的指令列表，无需人工提供标准答案，主要用于策略模型的强化学习（Reinforcement Learning，RL），使模型在多样化的指令场景中试错学习，通过RM的反馈不断调整、优化输出逻辑，既能覆盖各类长尾指令场景，又能有效避免模型对特定任务的过拟合，进一步提升模型的泛化能力。

1.4 工程应用，大模型的“行业价值落地”

工程应用是大模型由技术产品转化为商业价值，实现实际落地的最终环节，其核心逻辑是将模型预训练和后训练阶段积累的通用能力，通过适配各行业场景的专属数据，转化为可解决实际问题的具体解决方案。

目前大模型的核心落地路径主要包括以下类别：行业模型聚焦医疗、金融、交通、工业等垂直领域，深耕各行业专属专业数据，兼顾数据隐私保护与合规要求，针对性解决行业痛点；世界模型的构建依托于时序关联的多模态对齐数据与科学数据的深度融合，这是实现其模拟、推理与预测能力的技术基石；检索增强生成（Retrieval Augmented Generation，RAG）依托企业知识库、知识图谱等数据，通过“检索外部知识+生成回答”的模式，有效解决大模型“幻觉”和知识过时的问题，提升回答的准确性和时效性，广泛应用于企业客服、法律咨询等场景；智能体具备“感知—决策—执行”的完整能力，依赖用户交互反馈数据和多模态上下文数据，通过数据闭环实现自主进化，适配电商、教育等需要持续交互的场景；具身智能是大模型连接物理世界的前沿方向，基于物理交互数据、动补数据等，实现模型与物理世界的精准交互，应用于机器人、元宇宙等领域。工程应用阶段的核心逻辑是“数据闭环”：从行业场景中获取数据，通过模型训练优化能力，再将模型输出反馈到场景中，形成“数据—模型—场景”的持续迭代，既提升模型的场景适配性，又构筑行业数据壁垒，增强模型竞争力。

2 典型国家/地区AI高质量数据供给情况

通过比较发现，我国AI高质量数据集供给尚存不足，亟需深化数据资源开发利用和开放共享，加快将数据资源优势转化为高质量数据集供给优势，全面推进AI科技创新、产业发展和应用赋能。

2.1 典型国家/地区公共数据开放情况

欧洲作为全球公共数据开放的先行者与制度创新高地，已构建起 “立法先行、一体化推进、数据空间赋能”的发展模式。据中国信息通信研究院的统计：当前欧盟27个成员国平均开放数据成熟度达83%，其中法国、波兰、斯洛伐克位居前列；欧盟统一门户（data。 europa。eu）整合34个国家的数据资源，采用DCAT-AP标准保障互操作性，共同数据空间是其最大创新，已启动14个行业数据空间建设，其中欧洲健康数据空间和工业制造数据空间进展显著；美国通过《信息自由法案》《开放政府数据法案》等构建法律保障体系，明确联邦机构的数据开放机制；美国以Data。gov为国家级枢纽，整合联邦政府全口径数据资源，形成“一站式”开放门户；美国已开放联邦政府15个内阁部门49个类别的376 698个数据集，且采用可机读JSON标准化数据格式。我国政府部门数据资源潜力巨大，但数据开放力度有待增强。2024年9月，中共中央办公厅、国务院办公厅印发《关于加快公共数据资源开发利用的意见》，对公共数据资源开发利用进行系统部署。据中国信息通信研究院的统计，我国政府部门掌握的公共数据资源占全社会数据总量的50%~80%，截至2025年12月底，在国务院26个组成部门中，17个部委（占比65%）的官方网站有数据开放板块，且均采用word、html、xlsx、pdf等多种非机读数据格式。

2.2 典型国家/地区数据集开源生态情况

当前，具有代表性的数据开源平台包括HuggingFace、Kanggle、Google Dataset Search、GitHub等。我国也出现了一批具有行业影响力的数据集开源平台，如阿里天池、OpendataLab、DataFountain、和鲸社区，均汇聚了一批开源数据集，能够满足模型训练的部分需要。中文开源高质量数据供给少于英文。全球知名开源社区HuggingFace收录的数据集情况显示：目前英文开源数据集供给总量为28 067个，总体规模约为125.2 TB；中文开源数据集供给总量为2 678个（约为英文的1/10），规模为23.41 TB（约为英文的1/5）；开源数据集供给总量位列第3~10位的语种分别为法语、西班牙语、俄语、日语、德语、韩语、葡萄牙语和阿拉伯语（见图2）。

图2 HuggingFace各语种开源数据分布情况

2.3 典型国家/地区原生数据供给情况

全球网站语言分布呈现“英语霸权”格局。据2025年W3Techs的数据，全球英语网站占全球网站的比例为49.3%，中文网站仅占1.1%，位列第13位，英文互联网数据的原始规模远超中文。得益于互联网基础设施规模，英文电子原生数据在全球网络信息中占据优势地位。Google、Meta、Apple等头部科技公司的核心产品涵盖搜索引擎、社交网络、操作系统等，服务覆盖全球用户，能够持续生成并聚合海量、多样化、多模态的原生数据。我国数据生态更多集中于本土化平台和应用，不对外开源开放的“独有”数据更多，且多数无网页版本，导致数据互通性差，数据获取更依赖商业合作。我国线下出版物数量具备优势但数字化程度不足。美国哈佛图书馆历经20余年，其数字化的图书超百万册，使之适合机器读取和自然语言处理（Natural Language Processing，NLP）分析。据国家图书馆的统计数据，通过近年大力推进数字馆藏建设，其电子图书、期刊报纸超过220万种，但目前尚以非结构化的扫描件为主。据Unpaywall和中国科学院文献情报中心的统计，近5年全球、美国、中国学术论文开放获取占比情况如表1所示。

表1 2021—2025年全球、美国、中国学术论文开放获取占比

2.4 典型国家/地区行业数据集供给情况

我国重视AI赋能千行百业，“人工智能+”连续两年被写入政府工作报告。随着基础模型的能力达到一定的高度，蕴含领域深度知识的行业高质量数据集成为模型能力进化的关键，行业高质量数据集的供给也在加快增长。以上海AI实验室Opendatalab收录的7 422个数据集为例，目前工业领域数据集达到了980个，占全部数据集总量的13.2%，其中占比较高的领域分别为工业机器人（214个）、医疗（153个）和汽车（103个）（见图3）。据国家数据局的统计，截至2025年底，我国已建成高质量数据集超10万个，总体量超过890 PB，相当于中国国家图书馆数字资源总量的310倍左右。反观欧盟与美国，由于合规要求过于严格，导致其行业数据难出域，不能用于高质量数据集的生产与应用。另外，欧盟与美国中小型企业较少，行业模型需要的领域知识与数据积累不足。与我国相比，国际高质量数据集供给集中在通用领域，面向行业和面向场景的高质量数据集供给远低于我国。

图3 Opendatalab开源工业高质量数据集数量

3 国际经验启示与顶层制度保障

通过多维度对比分析欧盟、美国、我国AI高质量数据供给的情况发现，全球AI数据供给格局呈现显著的差异化特征：欧美在公共数据开放制度建设、通用开源数据生态、全球原生数据聚合能力方面具有先发优势；我国依托完整的产业体系和丰富的应用场景，在行业垂直领域数据集供给上形成了独特的比较优势。当前，我国AI高质量数据供给仍存在结构性失衡问题，亟需借鉴国际先进经验、立足自身发展基础、扬长补短、系统施策，加快构建与AI强国建设相适应的高质量数据供给体系。

3.1 健全数据治理制度体系，统筹发展与安全

高质量数据供给离不开完善的制度保障，必须坚持发展与安全并重的原则，筑牢数据要素流通的制度底座。一是完善法律法规体系，加快出台数据产权、隐私保护、数据安全等领域的配套细则，明确数据采集、加工、流通、使用各环节的权利义务和责任边界，解决数据权属不清、收益分配不明等核心问题。二是建立数据分类分级保护制度，对公共数据、企业数据、个人数据实施差异化管理，在保障国家安全和个人隐私的前提下，最大限度促进数据要素流动。三是构建跨部门、跨区域的数据协同治理机制，打破 “多头管理、标准不一” 的治理僵局，建立全国统一的数据治理规则和质量评估体系，为数据供给提供统一的制度遵循。

3.2 全面释放公共数据资源潜力

公共数据是AI高质量数据集基础、稳定的来源。据中国信息通信研究院的统计，虽然我国政府部门掌握的公共数据占全社会数据总量的50%~80%，但截至2024年我国存储数据中仍有近4成从未被使用，公共数据价值尚未被充分释放。我国需从制度保障和技术实施两个维度协同发力：在制度层面，加快落实《关于加快公共数据资源开发利用的意见》，明确各级政府部门的数据开放责任清单和时间节点，力争实现国务院组成部门数据开放板块全覆盖，同时构建覆盖数据全生命周期的管理监督体系，将数据开放质效纳入政府绩效考核内容；在技术层面，打造全国一体化公共数据开放门户，整合各部门、各地区分散的数据资源，全面推行JSON等可机读标准化数据格式，配套统一的应用程序编程接口（Application Programming Interface，API），降低数据获取和使用的技术门槛，实施分阶段开放策略，优先推动低敏感部门数据开放，逐步扩展至其他领域，同时建立数据高频更新机制，保障数据的时效性。

3.3 培育壮大中文开源数据生态

开源数据是AI技术创新的重要公共基础设施。当前，全球开源数据呈现明显的“英语霸权”格局，我国需同步推进生态培育和流通技术建设：在生态培育方面，将中文开源数据生态建设纳入AI发展战略重点，加大对阿里天池、OpendataLab等本土开源平台的政策支持和资金投入，建立开源数据贡献激励机制，鼓励高校、科研机构、龙头企业开源高质量标注数据集，完善开源数据的质量认证、版权保护和安全审查体系，解决“质量参差不齐、版权不清、安全风险不明”等痛点问题，积极参与全球开源数据治理，推动中文数据标准的国际认可；在流通技术方面，针对医疗、金融、工业等领域数据“封闭不出”的现状，制定数据出域、脱敏与审计规范，在重点行业部署可信执行环境、隐私保护计算等技术，实现“数据可用不可见”，支持建设区域性数据交易场所与行业性数据平台，促进场内场外交易互通，深化跨境数据流动试点，通过场景驱动释放数据价值。

3.4 强化原生数据价值转化，夯实供给底层基础

原生数据的规模、多样性和可获得性直接决定了AI模型的能力上限。英文原生数据占据绝对优势，而中文原生数据存在互通性差、数字化程度低、开放获取不足等短板。未来，我国应从3个维度提升原生数据供给能力：一是加快线下资源的结构化数字化转型，重点推进图书、期刊、档案等文化资源的光学字符识别（Optical Character Recognition，OCR）和语义标注，改变当前以非结构化扫描件为主的数据存储现状；二是提升学术资源开放获取水平，加大对开放获取期刊和知识库的支持力度，逐步缩小我国与欧盟、美国的开放获取占比差距；三是引导本土互联网平台在合规前提下建立数据互通机制，打破平台“数据孤岛”，同时探索安全可控的跨境数据流动通道，拓展我国原生数据的全球来源。

3.5 巩固、放大行业数据优势，打造差异化核心竞争力

行业垂直领域高质量数据集是我国AI发展的核心竞争力所在。与欧美因合规要求过严、中小企业数量少导致的行业数据难出域、领域知识积累不足等问题不同，我国依托完整的工业体系和丰富的应用场景，已建成丰富的高质量行业数据集，在工业机器人、医疗、汽车等重点领域形成显著优势。未来，我国应持续深化“人工智能+”战略：聚焦制造业、医疗健康、交通运输等国民经济重点行业，建设一批国家级行业数据空间，推动产业链上下游企业的数据共享和协同利用；培育专业化的行业数据服务商，提供数据采集、清洗、标注、建模等全链条服务，降低中小企业使用行业数据的门槛；加强行业数据标准建设，推动行业数据集向精细化、场景化、多模态方向升级，将行业数据优势转化为行业大模型优势和产业竞争优势。

4 高质量数据集供给核心技术路径与产业生态落地

在完善顶层制度设计的基础上，我国需聚焦数据供给全链条的关键技术环节，突破技术瓶颈，培育产业生态，推动高质量数据集供给从“政策引导”向“技术驱动”转变。

4.1 构建专业化智能化数据标注体系

数据标注是高质量数据集建设的核心环节，也是大模型落地行业应用的关键支撑，国际上已涌现出 Scale AI、Appen等一批头部标注企业。我国应以国家数据标注基地建设为依托，推动数据标注产业向专业化、智能化、规模化、规范化发展：一是加强供需精准对接，深度挖掘图书馆、出版社、中央企业、大模型企业的专业标注需求，重点培育医疗、工业、法律等领域的专业化标注团队；二是推动标注技术智能化升级，加大对预训练辅助标注、主动学习、弱监督学习等技术的研发应用，降低人工标注成本，提升标注效率和质量；三是鼓励采用灵活用工等多种方式，充分释放行业专家的专业标注能力；四是建立数据出域标注的安全风险防范机制，保障数据在标注环节的安全合规。

4.2 布局下一代前沿数据集建设

我国应瞄准世界模型、具身智能、智能体、行业模型等下一代AI技术的发展需求，提前布局建设适配不同训练场景的前沿数据集，抢占技术创新制高点：针对世界模型，重点构建时序关联的多模态对齐数据集，覆盖静动态、室内外等全场景，为模型建立对真实世界的统一认知提供支撑；针对具身智能，打造“1%真机+99%合成”的混合数据体系，融合真实世界机器人数据与高保真仿真合成数据，降低真机数据采集成本；针对智能体，建设与测试环境深度耦合的交互数据集，支撑智能体完成感知、决策与执行的全流程训练；针对行业模型，沉淀诊断思维链、风控画像、交通流、工艺知识等垂直领域专业数据，打造行业专属高质量数据集。同时，我国还应重点建设涵盖数学推理、法律案例、科学问题等在内的多样化思维链数据集，支撑大模型突破长链与多模态推理难点。

4.3 加快数据合成技术创新与应用

数据合成技术是突破数据稀缺、隐私保护、场景覆盖等多重限制的核心抓手，已成为AI产业竞争的关键赛道。我国数据合成技术仍存在核心算法滞后、“物理引擎+AI”融合不足、垂直领域标准缺失等问题。在技术攻关方面，我国应加大对生成对抗网络、扩散模型、神经辐射场、世界模型等前沿生成技术的研发支持，鼓励科研机构与企业联合攻关“物理引擎+AI”深度融合技术，通过数字孪生、虚拟仿真构建高保真虚拟环境，提升合成数据的物理真实性和多模态对齐精度；在产业生态建设方面，针对世界模型、智能体、行业大模型的差异化需求，我国应构建覆盖医疗诊断、金融风控、工业工艺等场景的合成数据标准体系，推动合成数据与真实数据的混合训练范式落地，使合成数据从补充性资源升级为高质量数据集的核心组成部分，同时应完善合成数据的隐私保护、伦理审查与合规监管机制，在技术突破的同时守住安全底线。

5 结束语

数据作为AI发展的核心驱动力，其供给质量直接决定了AI技术的创新高度与应用深度。我国应通过强化顶层设计、完善基础设施、推动技术攻关，构建“开放共享、安全高效”的高质量数据集供给体系。唯有将数据资源优势转化为AI技术竞争力，我国才能在全球AI格局中实现从“跟跑”到“并跑”乃至“领跑”的跨越，为我国AI的更好发展奠定基础。

Research on high-quality dataset supply from the perspective of full life cycle demand

FAN Wei1, LI Sun1, YAN Shu1, WANG Tiantian2, CAO Feng1

（1 Institute of Artificial Intelligence, China Academy of Information and Communications Technology, Beijing 100083, China；

2 Institute of Policy and Economics, China Academy of Information and Communications Technology, Beijing 100083, China）

Abstract: With the rapid iteration of artificial intelligence technology, model training has shifted from the stage of general-scale expansion to a new stage driven by industrial applications and supported by high-quality data. The type, quality and supply capacity of data directly determine the industry adaptability and practical effectiveness of models. Data demands vary across the full life cycle of large models, and there are still shortcomings in the supply of high-quality datasets for industrial scenarios. Based on this, the focus is placed on the full stages of large model pre-training, supervised fine-tuning, reinforcement alignment, and engineering application. This paper sorts out the data demands of each stage and the evolutionary trend from “scale-oriented” to “quality-oriented”. The evolving trends of data needs at each stage are analyzed, the disparities in high-quality data supply between international and domestic standards are compared, and the shortcomings of China’s utilization of public data, data openness, and annotation ecosystems are examined. Consequently, targeted measures are proposed to optimize data supply, aiming to break through the bottleneck of training data for large models and support the advancement of the artificial intelligence industry.

Keywords: construction of high-quality data sets; data training requirements; training data bottlenecks; supply differences

本文刊于《信息通信技术与政策》2026年第05期

来源：信息通信技术与政策