文章总结： IDC报告指出大模型应用面临幻觉与安全风险，蚂蚁集团提出的DKCF框架通过充足数据、专业知识、能力协同及高效反馈四大模块提升可信度。该框架已应用于网络安全威胁检测，有效降低人力成本与幻觉问题。企业应在评估阶段进行安全评测，在运营阶段利用框架改造，以构建统一、安全可信的AI治理体系。 综合评分： 82 文章分类： AI安全,解决方案,安全建设,安全运营

IDC报告：大模型应用可信框架助力企业构建可信AI体系

数说安全

2025年12月26日 16:02 辽宁

生成式人工智能（GenAI）技术的浪潮正以前所未有的速度席卷千行百业，在催生新质生产力、重塑业务流程的同时，也彻底改写了企业安全风险的版图。尤其是当大模型及其驱动的智能体从实验室走向规模化产业应用时，其内生复杂性使得企业的运营管理难度与安全暴露面快速扩大。

国际知名咨询机构IDC长期关注AI治理，近期IDC发布了《蚂蚁集团：大模型应用可信框架助力企业构建可信AI体系》报告，从定义、内容和最佳实践等角度详细介绍了蚂蚁集团提出的DKCF大模型应用可信框架，为企业构建可信AI体系提供参考。

IDC报告提及，伴随大模型、智能体在金融、政务、医疗、能源等行业应用落地不断加深，引入了诸多全新的、动态的安全风险，如模型幻觉、内容安全、数据安全等问题。IDC最新调研显示，超过 54%的最终用户对于大模型幻觉的问题表现出担忧，大模型训练、推理、反馈全流程的可信是最终用户用好大模型和智能体的根本。

对于大模型执行过程中的可信问题，DKCF大模型可信应用框架给出了具体的应对思路和方法，尤其在处理模型幻觉上，对应用实践提供了指导。DKCF大模型应用可信框架，主要分为四大模块，分别为充足数据（D）、专业知识（K）、能力协同（C）和高效反馈（F）：

其中，D代表丰富的数据源，确保大模型依赖充分的数据给出决策结果，解决大模型面临推理核验方面的挑战；

K表示高质量行业知识库，解决大模型面临的领域知识不足导致决策错误的问题；

C表示通过精细规划将复杂任务解构为更易操控和解决的子任务，解决专业领域复杂任务决策导致幻觉的问题；

F指通过构建一个闭环的业务流程使推理结果有效指导大模型决策，解决大模型在反馈循环上面临的低效问题。

总体来说，DKCF框架通过整合不确定性量化机制，使大模型能够自我评估其输出的确定性水平，以此来减少无依据的决策。此外，借助于专业知识图谱与大模型的深度融合，DKCF框架增强了领域知识的精确度和实时性。

目前DKCF大模型可信应用框架已在网络安全的实践应用中获得了良好的效果。在网络安全威胁检测中，告警研判是一个对专业知识要求较高且极其耗费人工的过程。蚂蚁集团基于DKCF框架构建了风险研判助手，其包含切面数据预处理模块、知识模块、Agent模块、线索模块、反馈循环模块，在降低告警研判人力投入的同时，也降低了对安全运营人员的知识水平的要求，并且可以有效缓解大模型幻觉问题，实现了网络安全威胁检测的效能提升。

IDC报告指出，大部分大模型和智能体在行业用户的落地过程中都存在“水土不服”的问题，如何处理模型的幻觉问题、确保大模型在训练、调优、推理、执行过程中的安全可信是解决上述问题的核心，这对于数据、知识、流程、反馈机制等都提出了更高的要求。从大模型自身安全管控的整体框架来看，最终用户还需要关注模型的合规、内容安全、访问安全、数据安全等内容，最终建设一套统一的、持续的运营、监控和评估的AI安全治理框架，实现构建可信、可靠、安全的AI体系的目标。

大模型执行过程中的可信和安全作为AI治理体系中的重要组成部分，需要在评估和运营阶段重点关注。同时，企业需要在战略上给予重视，用流程来规范责任与制度，用DKCF框架来保障大模型的可信和安全，用合作来构建安全可信生态，最终实现在安全可信的基础上用对、用好大模型和智能体的目标。具体来说，在评估阶段，需要用各类先进的评测技术如幻觉评测、注入攻击、越狱攻击等，评测AI应用系统的安全与可信，充分暴露问题。在运营阶段，针对安全与可信不足的AI应用系统，应当用DKCF可信框架进行改造。

扫描下方二维码

下载报告全文

（2025.12.26数说安全发布）

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：数说安全 《IDC报告：大模型应用可信框架助力企业构建可信AI体系》