可解释性研究的核心驱动力：

安全与对齐：
├── 检测模型是否学习了预期行为还是虚假的相关性
├── 发现隐藏的恶意行为（后门、欺骗性对齐）
├── 验证模型是否按预设原则推理
└── 预测模型在分布外场景的行为

可靠性与信任：
├── 理解模型错误的根本原因
├── 识别模型置信过高（幻觉）的条件
└── 为高风险决策（医疗、司法）提供解释

科学理解：
├── 揭示深度学习的工作原理
├── 理解语言、推理、知识如何在神经网络中编码
└── 为改进架构设计提供理论依据

法规合规：
├── GDPR 第22条：自动化决策的可解释权利
├── EU AI Act：高风险 AI 的透明度要求
└── 金融、医疗行业的可审计性要求

范式一：传统可解释性（XAI，Explainable AI）
目标：为模型的单次预测提供事后解释
方法：LIME、SHAP、注意力可视化、显著性图
特点：
├── 不假设理解模型内部机制
├── 生成人类可读的局部解释
├── 不改变模型本身
└── 被批评为\"解释幻觉\"（解释不忠实于实际计算）

范式二：机械可解释性（Mechanistic Interpretability）
目标：理解模型内部的实际计算机制
方法：电路分析、特征工程、激活修补（Activation Patching）
特点：
├── 深入模型权重和激活的内部结构
├── 试图\"逆向工程\"神经网络
├── 强调忠实性（解释要反映真实计算）
└── 目前主要适用于较小规模的模型

两种范式的根本区别：
XAI：「这个预测看起来是因为特征X的贡献」
     （可能是近似，不反映真实计算路径）
MI ：「神经元 A 激活了神经元 B，因为权重矩阵
      W 将 A 的激活映射到 B 的输入方向」
     （直接描述真实的信息流动）

特征（Feature）：
激活空间中编码了特定语义概念的方向或子空间
例：\"国王\"这个概念对应词嵌入空间中的特定方向

电路（Circuit）：
实现特定功能的一组神经元及其连接
例：用于间接宾语识别的注意力头子集

叠加（Superposition）：
单个神经元编码多个不相关特征的现象
（与神经科学中的\"稀疏编码\"假说对应）

多语义性（Polysemanticity）：
一个神经元响应多种不相关的输入概念
例：同一个神经元对\"猫\"和\"浴缸\"和\"曲线\"均激活

单语义性（Monosemanticity）：
理想情况：每个特征只编码一个语义概念
机械可解释性的核心追求目标之一

激活修补（Activation Patching）：
在一个网络运行时，将特定激活值替换为
另一个输入或另一个运行实例的激活值
用于识别哪些激活对特定行为至关重要

因果归因（Causal Attribution）：
确定模型输出与特定内部计算之间的因果关系
区别于相关性归因（传统 XAI 的大多数方法）

Ribeiro et al. (2016) 提出：

核心思想：
在待解释样本 x 的邻域内，用可解释的线性模型
局部近似复杂模型的行为

算法步骤：
1. 对样本 x 在其特征空间中采样扰动版本
   x' = perturb(x)（随机遮掩/替换部分特征）
2. 用目标模型 f 对所有扰动样本打标签
   y' = f(x')
3. 根据与 x 的相似度为样本加权
   π(x, x') = exp(-D(x,x')² / σ²)
4. 拟合加权局部线性模型 g：
   min_g Σ π(x,x') · (f(x') - g(x'))² + Ω(g)
5. 用 g 的系数解释预测

文本分类示例：
输入：「这部电影非常糟糕，完全浪费时间」→ 预测：负面
LIME 解释：
  「糟糕」: +0.42（贡献最大）
  「浪费」: +0.31
  「时间」: -0.05
  「非常」: +0.12

局限性：
├── 邻域定义依赖采样，结果不稳定
├── 局部线性近似不反映真实计算
└── 解释本质是\"代理模型\"而非\"真实原因\"

Lundberg & Lee (2017) 提出，基于博弈论 Shapley 值：

核心思想：
将预测结果在所有输入特征间公平分配
每个特征的\"贡献\"是其在所有可能联盟中的边际贡献均值

Shapley 值公式：
φ_i = Σ_{S⊆F\\{i}} [|S|!(|F|-|S|-1)!/|F|!] · [f(S∪{i}) - f(S)]

其中：
  F：所有特征集合
  S：不含特征 i 的子集
  f(S)：仅使用 S 中特征时的模型输出
  φ_i：特征 i 的 Shapley 值（贡献）

SHAP 的优良性质（博弈论保证）：
├── 效率性：所有特征的 Shapley 值之和 = 预测值
├── 对称性：贡献相同的特征获得相同 Shapley 值
├── 虚无特征：无贡献特征的 Shapley 值为零
└── 可加性：联合解释 = 单独解释之和

主要变体：
├── KernelSHAP：模型无关，基于 LIME 框架
├── TreeSHAP：树模型专用，精确且高效 O(TLD²)
├── DeepSHAP：深度学习专用，基于反向传播
└── LinearSHAP：线性模型专用，精确解析解

对 LLM 的应用：
对每个输出 token，计算各输入 token 的 SHAP 值
可视化哪些输入词对输出影响最大

基于梯度的输入归因：