2026-10-16 12:45:56 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

论文解读 | 图遗忘距离实际应用还有多远：效率、效用与遗忘质量的系统评测

韩佳祎
韩佳祎

北邮 GAMMA Lab

2026年10月15日 13:40
北京

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

用户注销账号后，业务数据库可以删除相关记录，已经完成训练的模型却不会随之自动“失忆”。对于图神经网络（Graph Neural Network，GNN），一个节点会参与多轮消息传递，其影响可能已经扩散到邻居表示和模型参数中。如何在不重新训练整个模型的情况下消除这些影响，是图遗忘（Graph Unlearning）关注的核心问题。

ICLR 2026论文《Is Graph Unlearning Ready for Practice? A Benchmark on Efficiency, Utility, and Forgetting》将现有方法纳入统一实验框架，从效率、效用和遗忘质量三个维度重新评估图遗忘的实用性。本文将结合这套基准，介绍现有方法的技术路线、评测设计和主要实验结果，并讨论图遗忘距离实际部署还有多远。

1. 引言

收到删除请求后，最直接的处理方式是移除相关数据，再从头训练模型。这样得到的模型被记为 Gold，用于表示被删除数据从未参与训练时，模型应当达到的状态。

图遗忘希望以更低的更新成本逼近Gold模型，避免每次收到删除请求后都进行完整训练。现有方案包括局部微调、影响函数、参数投影和图分片等路线。不过，不同工作采用的评价指标和计时口径并不统一：有些只报告准确率，有些比较输出分布，还有一些侧重理论保证；构造剩余图、寻找多跳邻居和重新划分子图等预处理步骤也经常未被计入运行时间。

图结构还会进一步增加遗忘难度。普通监督学习中的样本通常可以相对独立地处理，图上的节点则通过边彼此关联。删除一个高连接节点，可能同时改变大量邻居的表示。因此，在随机删除设置下表现稳定的方法，面对集中于特定类别、社区或高度节点的请求时，未必仍能保持相同表现。

基于这些问题，图遗忘的实用性被拆分为效率、效用和遗忘质量三个维度，并始终以Gold模型作为参照。多层次评测能够揭示准确率单一指标难以反映的模型差异。

2. 动机分析：为什么需要重新评估图遗忘？

2.1 准确率无法完整代表遗忘效果

假设遗忘模型和Gold模型的测试准确率均为90%，两者仍可能对不同的节点作出错误判断，其置信度分布和模型参数也可能存在明显差异。因此，准确率接近只能说明总体任务表现相似，无法证明遗忘模型已经复现删除数据后重新训练的结果。

此外，预测性能与遗忘质量对应两个不同目标。遗忘模型即使保持了原有准确率，攻击者仍可能判断某个节点是否参与过训练，或从模型输出中恢复被删除的结构信息。因此，模型效用与信息是否真正被移除需要分别评估。

2.2 效率评估不能忽略预处理开销

图遗忘的主要价值之一，是降低数据删除后的模型更新成本。然而，只统计参数更新阶段会高估其效率优势。真实系统收到请求后，还需要定位相关节点和边、构造剩余图、提取局部子图；部分方法还需要重新进行图分片。对于小型数据集，这些准备工作的耗时甚至可能超过重新训练本身。

这套基准把预处理时间与遗忘更新时间共同计入总运行时间，并同时记录峰值GPU显存。若一种方法的总耗时超过Gold，或在大规模图上因显存不足而无法运行，其作为重训练替代方案的实际价值就会受到限制。

2.3 随机删除难以覆盖真实请求

许多现有实验默认从训练集中均匀随机抽取节点，这类删除通常不会显著改变标签比例和整体图结构。现实中的删除请求却可能集中于高连接用户、特定类别或某个社区。除了改变删除比例，论文还比较了最高频类别、第二高频类别、低度节点和高度节点等删除分布，用于检验方法对不同请求模式的稳定性。

3. 方法：从效率、效用到遗忘质量的评测框架

3.1 现有图遗忘方法

基准覆盖12种经过同行评审的图遗忘方法，大致可以分成四类：

GNNDelete、MEGU等学习式方法，通过更新或微调参数适应删除后的图；
GIF、IDEA、GST、ETR等方法利用影响函数近似删除样本带来的参数变化，Projector则采用投影路线；
GraphEraser和GUIDE先对图进行分片，只重新训练受影响的部分；
CGU、ScaleGUN等认证方法提供形式化保证，但主要适用于定制线性GNN和二分类设置。

各方法是否与模型架构无关、能否继续训练、属于训练前设计还是训练后处理，以及是否带有保证，都列在 Table 1 中。

主实验没有把CGU和ScaleGUN放进统一排名，因为它们依赖线性模型及一对多二分类，与常用的非线性多分类GNN并不处在同一设置。Projector同样使用定制线性GNN，但支持多分类，因此被保留下来作为参考。GST在主实验的所有数据集上均发生OOM，后续分析不再讨论。

3.2 三个核心评测维度

效率关注总运行时间和峰值显存。只有在计入预处理后仍快于Gold，并且能够在目标图规模上正常运行，图遗忘才具有明确的成本优势。
效用分四层考察。准确率衡量任务表现；保真度（fidelity）统计遗忘模型与Gold对同一节点给出相同类别的比例；logit距离比较两者的输出分布；架构一致时，还可以继续比较参数距离。指标越往后越细，也越能发现准确率掩盖的偏差。
遗忘质量 通过三类攻击检查残留信息。成员推断攻击（MIA）判断节点是否曾属于训练集；遗忘反演攻击（UIA）尝试从logit恢复被删除的边；Noisy-Labeler攻击观察模型是否仍以较高置信度输出被删节点原来的类别。三类攻击的AUROC都以接近0.5为好，此时攻击效果接近随机猜测。

3.3 数据集与实验设置

实验使用7个数据集，既有Cora、Citeseer、Photo和ogbn-arxiv等同配图，也有Amazon-Ratings和Roman-Empire两个异配图。Reddit包含232,965个节点和114,615,892条边，主要用于检验扩展性。详细规模见 Table 2 。

默认实验从训练集中均匀随机删除10%的节点，通用方法采用GCN作为骨干。每组实验重复5次，报告均值和标准差。运行硬件为NVIDIA A100 40GB；24小时内未完成记为OOT，显存不足记为OOM。论文以节点删除为主，附录还补充了边删除、特征删除和不同GNN骨干上的结果。

4. 实验：现有方法能否替代重新训练？

4.1 准确率接近不代表模型一致

删除10%的训练节点后，MEGU、GIF和IDEA在Cora、Citeseer和Photo上的准确率都比较接近Gold。以Cora为例，Gold为0.88，MEGU为0.89；Photo上Gold为0.93，MEGU为0.92。若只看准确率，这几种方法似乎已经很好地复现了重新训练的结果。

保真度和logit距离给出了不同的视角。MEGU在Cora、Photo和ogbn-arxiv上的保真度分别为0.95、0.99和0.91，是标准GCN方法中较稳定的一种。IDEA在Cora上的保真度也达到0.92，但logit距离为18.03，远高于MEGU的3.05；在Photo上，两者分别为22.79和3.81。IDEA经常能选中与Gold相同的类别，输出置信度却相差很大。

Cognac在ogbn-arxiv上的准确率为0.68，甚至高于Gold的0.60，但它的保真度只有0.81，logit距离为11.28。这项评测要逼近的是“删除数据后重新训练”的结果。高于Gold的准确率不能单独证明遗忘更好。

Projector的保真度接近0.99，logit距离也很低，不过它的参照是自带的定制线性GNN，不宜直接与标准GCN上的结果横向排名。这类架构差异是阅读表格时不能忽略的前提。

4.2 预处理开销会改变效率结论

Table 7 报告预处理与遗忘更新之和，Table 8 给出峰值GPU显存。

在Cora上，Gold重新训练耗时0.65秒，MEGU、GIF和IDEA分别为0.61、0.39和0.38秒，遗忘更新具有一定速度优势。图规模增大后，结论开始分化。ogbn-arxiv上的Gold耗时9.90秒，MEGU需要20.49秒，已经慢于重新训练；GIF和IDEA则分别需要4.79秒和5.31秒。

分片方法的预处理开销尤为明显。Cora上的GraphEraser和GUIDE分别需要22.93秒和77.66秒，而Gold只需0.65秒；Photo上的GUIDE达到919秒，Gold为0.90秒。分片、局部重新训练和聚合占据了主要时间，因此局部更新并未带来更低的总响应时间。

Projector在ogbn-arxiv上的单次遗忘只需0.30秒，但其定制线性GNN的训练时间平均约为标准GCN的100倍。单列遗忘时间会隐藏这部分前置成本。

4.3 大规模图上的扩展性仍然有限

Reddit上的结果集中体现了现有方法与实际应用之间的差距。MEGU、GIF、IDEA、GNNDelete、GUIDE和Projector均出现OOM，GraphEraser在24小时内未能完成。在9种主要评测方法中，只有Cognac和ETR能够得到完整结果。

ETR用时54.86秒，低于Gold的96.73秒；峰值显存为1,539MB，也低于Gold的2,861MB。Cognac虽然能够运行，但耗时197.43秒，峰值显存14,464MB，仍未获得相对于重新训练的效率优势。

这些失败与现有实现的批处理能力密切相关。MEGU需要同时处理整图及模型输出；GIF和IDEA依赖完整梯度与Hessian向量积；GNNDelete的边一致性计算也难以直接拆分为多个批次。后续实现优化可能改善部分结果，但显存占用和总运行时间仍是图遗忘扩展到大规模图时需要解决的关键问题。

4.4 三类攻击揭示遗忘后的信息残留

Figure 1 展示了Cora、Photo和Roman-Empire上的成员推断结果。多数方法的AUROC靠近0.5，Projector、GraphEraser和GNNDelete的偏离更明显。

反演攻击的差距更清楚，完整数据见 Table 9 。MEGU、GIF、IDEA、GraphEraser和GUIDE在多数数据集上接近0.5。GNNDelete的AUROC落在0.78至0.95之间，其中Amazon-Ratings达到0.95，说明被删节点仍留下了容易识别的结构信号。Projector的结果介于两者之间，存在较稳定的残留。

Noisy-Labeler攻击延续了这一趋势。大部分方法接近随机猜测，GNNDelete在Amazon-Ratings上达到0.81。连续三种攻击都出现异常，比单个指标的波动更值得重视。

需要注意的是，攻击未能发现泄漏并不等同于已经获得形式化遗忘保证。攻击结果会受到具体方法和实验条件的限制，而形式化保证通常又依赖线性模型、二分类等较强假设。如何同时扩大适用范围并提供严格保证，仍是现有方案尚未解决的问题。

4.5 删除比例与删除分布影响方法稳定性

Figure 2 把Cora上的删除比例从0提高到0.8，同时观察准确率、保真度和logit距离。

删除80%的训练节点后，Gold准确率跌到0.2以下，MEGU、GIF和IDEA的准确率却变化不大。如果只看准确率，这会被解读成很强的稳定性；与此同时，它们对Gold的保真度不断下降，logit距离持续增大。模型没有随着删除后的数据分布一起变化，稳定反而可能意味着遗忘不充分。

删除对象同样重要。随机删除和删除最高频类别通常较容易，高度节点则是消息传递的枢纽，移除后会影响更多邻居。Cora上，GNNDelete的保真度从随机删除时的0.79降到高度节点删除时的0.69；GraphEraser在删除第二高频类别时从0.88降至0.74。MEGU在五种删除分布下保持在0.92至0.96之间，是这组实验里最稳定的方法。