文章总结： 置信度是深度学习模型预测确定性的量化表达，在AI安全中用于异常检测、对抗样本检测和增强鲁棒性。主流估计方法包括Softmax概率输出、温度缩放、贝叶斯方法和集成模型，各有优缺点。关键应用是设置置信度阈值以实现拒绝选项或人工干预，提升安全性。挑战包括缺乏统一标准、模型过度自信、高成本和验证不足，建议结合多种方法并持续校准。 综合评分： 85 文章分类： AI安全,安全建设,解决方案,安全工具

置信度的原理、AI安全中的作用以及挑战

原创

纪我死去的昨天

缺月追寻

2025年12月16日 08:04 克罗地亚

0x00 引言

在深度学习领域中，置信度（confidence）指的是模型对其预测结果的确定程度的量化表达。简单来说，置信度通常以 0 到 1 之间的概率值表示，数值越大代表模型越相信自己的预测是正确的。

特别是在分类模型中，神经网络的最后一层会输出对各类别的概率分布，其中最高的概率值常被视为模型对此预测的置信度。例如，如果一个图像分类模型通过Softmax输出“猫”的概率为0.95（95%），则可解释为模型以 95% 的信心水平认为该图像属于猫类。

需要强调的是，置信度并不等同于准确率。理想情况下，一个经过校准的模型若对一组样本给出 80% 的置信度预测，那么其中约 80% 的预测应当是正确的。换言之，置信度应与实际正确率相匹配，这也是模型校准的核心目标。

可靠性图（reliability diagram）常用于评估模型校准情况。如下图中对下雨的预测，横轴为模型预测的概率，纵轴为事件实际发生的频率。对角线表示完美校准（预测概率 = 实际频率），而模型的实际表现通常以曲线表示。如果模型完全校准，曲线将紧贴对角线；反之，偏离对角线意味着模型存在过度自信或信心不足的问题。例如，若曲线在中等概率区间低于对角线，说明模型给出的中等置信度预测实际命中率更低，属于过度自信，需要通过校准技术进行纠正。

现代深度神经网络往往存在“过度自信”问题——即使预测是错误的，Softmax 输出仍可能接近 100%。这主要源于 Softmax 函数的指数放大效应以及训练过程中基于最大似然目标的驱动，使模型倾向于对训练数据给出极高概率。原始 Softmax 概率与真实置信度之间往往并不匹配。

0x01 主流置信度估计方法

如何定量地估计模型置信度是大模型中的核心问题，下面是几种主流方法。

Softmax概率输出

大多数分类模型默认通过Softmax层输出对各类别的概率分布，其最大概率值常被直接用作模型的置信度。其优点在于这种概率形式直观、易于获取，并且在数值上看似代表模型对预测结果的信心。

但是原始Softmax概率往往并非可靠的置信度指标。其原因在于Softmax 会将模型的logits通过指数函数放大，产生偏峰分布，使某一类别的概率远高于其他类别。这会导致模型即使面对非常微小的输入差异，也可能给出接近非常极端（如接近 1）的概率值，从而表现为过度自信。在实践中，未经校准的模型中，Softmax分数与真实准确率之间可能存在显著偏差，例如模型输出95%的概率，但实际正确率远低于95%。因此，Softmax 概率虽然计算简单，但容易出现过度自信或欠自信的问题，需要与校准方法结合使用。

温度缩放（Temperature Scaling）

温度缩放是一种简单而有效的神经网络置信度校准后处理技术。其核心思想是在不改变模型预测类别的前提下，引入一个温度参数 T，对Softmax 层的logits进行缩放后重新计算概率。

当温度T增大时，输出的概率分布会更加平滑，原本尖锐的高概率会被拉低，从而缓解模型的过度自信问题。温度缩放通常在验证集上，以负对数似然损失为优化目标来寻找最优的温度参数。一旦确定了T，即可在测试或部署阶段用于调整模型的输出概率分布。

该方法的主要优点是实现简单、计算开销极小，不需要修改模型结构，却能显著提升置信度的校准性，使预测概率更贴近真实准确率。

其局限性在于：温度缩放通常基于验证集分布进行校准，对于非独立同分布数据或分布发生变化的场景可能失效。如果部署环境与校准时的数据分布存在较大差异，单一的温度参数往往难以兼顾所有情况。因此，温度缩放适合作为基础校准手段，但在复杂或动态分布环境中通常需要与其他方法结合。

贝叶斯方法

贝叶斯方法通过在模型参数中引入概率分布来显式表达不确定性，被认为是最具理论基础的置信度估计方法之一。典型的贝叶斯神经网络（BNN）不再学习确定的权重值，而是学习权重的后验分布，从而量化模型参数的不确定性。

这种方式使模型输出不仅包含预测的点估计，还能给出预测分布的方差、置信区间等不确定性信息。贝叶斯方法的一个重要优势是能够区分两种不确定性来源：

• 模型不确定性（可降低）：源于模型认知不足或训练数据有限；
• 数据不确定性（不可降低）：源于数据本身的噪声或内在随机性。

BNN等方法主要针对前者，可以反映模型因为不知道而不自信的程度。

然而，精确的贝叶斯推理在深度神经网络中计算复杂，通常需要近似方法。常见近似包括MC Dropout和变分推断等。以 MC Dropout为例，在测试阶段启用随机Dropout并进行多次前向推理，将不同结果视为模型集合，从而近似后验分布。这种方法无需训练多个独立模型，计算效率相对较高，同时还能为单个样本提供不确定性估计。

贝叶斯方法的优势在于能对模型何时不知道给出定量评估，在分布外样本检测和对抗样本检测中往往更为敏感；其劣势在于实现复杂、计算成本较高，且在某些大规模数据场景下，预测准确率可能不如传统确定性模型。

集成模型（Ensemble）

集成方法通过训练多个彼此独立的模型，并对它们的预测结果进行融合来估计置信度。具体做法包括：使用不同的随机初始化、不同的数据子集或不同的模型结构，训练若干模型，然后对同一输入的输出概率进行平均或加权融合。

集成方法的核心优势在于：不同模型在同一输入上的预测差异，天然反映了模型认知的不确定性。如果所有模型的输出高度一致，说明模型群体对预测结果非常有信心；如果模型之间分歧较大，则说明该样本存在较高不确定性。

在实际中，深度集成不仅常常提升预测准确率，还能显著改善模型的校准效果，使置信度估计更加可靠。尤其在分布外检测场景下，集成方法表现突出：对于训练中未见过的样本，不同模型往往给出截然不同的预测，从而整体置信度降低，有助于识别异常输入。

其主要缺点是计算和存储成本高，需要训练和维护多个模型，并在推理阶段消耗更多算力和内存。

在实际应用中，这些方法往往组合使用，例如先通过温度缩放进行基础校准，再结合集成模型或MC Dropout评估不确定性，以同时获得较高的预测精度和可靠的置信度估计。

0x02 置信度在AI安全中的应用

置信度作为模型不确定性的量化体现，在AI安全中有重要的应用场景。通过监控模型的置信度，系统可以在模型不确定时采取额外措施，从而避免错误决策对安全造成危害。

异常检测与不确定性估计

置信度可用于检测模型未见过的输入或异常情况，即分布外数据（Out-of-Distribution, OOD）。当模型对某一输入在所有类别上的预测置信度都较低时，通常意味着该输入与训练数据分布存在显著差异，有可能是异常样本。

例如，一个仅在猫狗数据集上训练的分类模型，若遇到一张鱼的图片，可能对猫和狗两个类别都缺乏信心，其最大Softmax概率会明显偏低。这种低置信度信号可以提示系统该样本可能属于分布外数据。通过设定置信度阈值，将低于阈值的预测标记为不可靠或未知，系统即可自动识别潜在异常，并触发告警机制或转交人类处理。

如果模型能够准确识别并标记出低置信度样本，就可以在很大程度上避免在未知环境下做出盲目决策，从而显著提升 AI 系统在开放环境中的安全性。

对抗样本检测

对抗样本是通过对输入数据施加精心设计的微小扰动，使模型产生错误且高置信度预测的一类攻击形式。

在正常情况下，一个健康的模型在面对非预期或异常扰动时，其不确定性通常会上升，表现为置信度降低。如果能够捕捉到预测中异常的置信度模式或不确定性峰值，就有可能识别出对抗样本。例如，可以利用熵等不确定性度量来辅助检测潜在攻击。

传统神经网络在对抗样本上往往给出错误但高度自信的预测，而通过贝叶斯神经网络或集成模型得到的置信度估计，能够更好地区分正常输入与异常攻击输入。虽然一些比较隐匿对抗攻击可能刻意伪装置信度输出，但结合不确定性估计与输入特征分析的方法，在研究中已显示出一定的有效性，有助于提升模型抵御对抗攻击的整体安全性。

增强模型鲁棒性与可信决策

置信度也可增强系统鲁棒性、实现可信决策，在高风险决策场景（如自动驾驶、医疗诊断等）中。当模型对某一判断的置信度不足时，系统可以主动降低自动化程度，以避免潜在严重后果。

例如，在自动驾驶中，如果感知系统对前方目标的识别置信度很低，车辆可以选择减速、保持安全距离，并请求其他传感器或人类驾驶员介入确认；在医疗诊断场景中，如果 AI 对某病例的诊断仅有中等置信度，则应将结果标记为不确定，并交由医生复核。

通过这种机制，高置信度结果由AI自动处理，低置信度结果引入人工干预，从而在保证效率的同时提高安全性。如果模型无法明确提示自己何时可能出错，其大规模应用将受到严重限制。置信度使模型能够向用户提供风险提示和可信度说明，让决策者清楚了解模型输出的可靠程度。

拒绝选项

拒绝选项（Reject Option）是提升AI安全性的另一项重要策略。当模型预测的置信度低于预设阈值时，系统选择拒绝给出结果或不采取自动行动，而非输出一个低可信度的决策。

这种机制在分类和检测任务中被广泛采用。模型在输出预测结果的同时给出可信度评分，若评分低于阈值，系统宁可不作答或交由人工处理。通过调整置信度阈值，可以在覆盖率和可靠”之间取得平衡：较低阈值意味着更高的应答率但可能带来更多错误。较高阈值则使模型只在更有把握时才输出结果，从而显著降低错误率。

在一些关键领域，这种拒绝机制显的为重要。例如，在金融风控中，如果模型对某贷款申请的风险评估高度不确定，应将其标记为人工复核，而非自动批准或拒绝。在自动驾驶中，当感知系统对障碍物类别判断信心不足时，可以采取减速或规避等保守策略。

0x03 挑战

尽管置信度在AI安全中扮演着越来越重要的角色，但在其评估与实际利用方面仍然面临诸多挑战。

• 缺乏置信度评估的真值和统一标准：衡量模型置信度质量本身并不简单，目前并不存在公认的标准可以直接度量模型的不确定性。例如，如果尝试以人类专家之间的一致性作为不确定性的参照，就需要进一步回答诸如：应选择多少专家、如何量化专家之间的分歧等问题。

• 模型过度自信与校准困难：模型普遍存在过度自信现象，这使置信度校准成为一项长期挑战。虽然已有温度缩放等方法，能够在一定程度上缓解过度自信、降低 ECE 等指标，但在持续学习或数据分布不断变化的动态环境中，维持良好校准仍然十分困难。

• 高不确定性情景下的置信度获取成本：在某些任务中，获得可靠的置信度估计往往需要付出高昂的计算或数据成本。例如，贝叶斯推断和深度集成方法虽然效果较好，但通常依赖多次采样或多模型推理，在实时应用或资源受限设备上难以落地。

• 现实应用中的验证不足：尽管近年来不确定性量化研究取得了大量进展，但这些方法在安全关键领域中的实际落地仍然有限。许多模型尚无法充分量化自身推理过程中的不确定性，在医疗、自动驾驶等高风险场景中的部署缺乏长期和系统性的验证。造成这一现象的原因，一方面在于评估标准和计算成本的限制，另一方面也源于真实世界数据分布的复杂性和多变性。许多方法在封闭的训练与测试环境中表现良好，但在开放环境下容易出现置信度失准的问题。

• 对抗不确定性与新兴方法：在对抗攻击和未知分布场景下，高置信度的错误预测依然是AI安全的痛点。例如，标准分类模型可能对纯噪声图像给出极高置信度的预测，或在对抗样本上几乎不降低置信度。

0x04 参考

https://arxiv.org/pdf/1610.02136

https://blog.csdn.net/Rad1ant_up/article/details/139114754

https://www.ultralytics.com/zh/glossary/confidence

https://www.forwardpathway.com/223457

查看原文：《置信度的原理、AI安全中的作用以及挑战》