形式化定义：

给定：
  - 输入样本 x（如一张猫的图片）
  - 原始标签 y（\"猫\"）
  - 分类模型 f：X → Y

对抗样本 x* 满足：
  f(x*) ≠ y            （模型预测错误）
  ||x* - x||_p ≤ ε     （扰动在感知范围内）

其中 ||·||_p 通常使用：
  ℓ∞ 范数：限制每个像素的最大变化量（最常用）
  ℓ₂ 范数：限制扰动向量的欧氏长度
  ℓ₀ 范数：限制被修改的像素数量
  ℓ₁ 范数：限制所有像素变化量的绝对值之和

关键里程碑：

2013  Szegedy et al. 首次发现深度神经网络对抗脆弱性
      ├── 对 ImageNet 上的神经网络发现对抗扰动
      └── 提出\"有趣特性\"：高置信错误分类

2014  Goodfellow et al. 提出 FGSM
      ├── 提供对抗样本的线性解释
      ├── 奠定基于梯度攻击的基础
      └── 对抗训练首次被提出

2016  Carlini & Wagner 提出 C&W 攻击
      ├── 突破了 Distillation 防御
      └── 成为评估防御强度的标准工具

2017  Madry et al. 提出 PGD 攻击和 PGD 对抗训练
      └── 目前最重要的鲁棒性理论框架之一

2018  对抗样本的物理世界攻击（Eykholt et al.）
      └── 在真实停止标志上贴贴纸欺骗自动驾驶系统

2019  AdvGAN、Patch 攻击成熟
2020  对抗攻击扩展至 NLP 领域
2022  对抗攻击针对扩散模型、多模态模型
2023  针对 LLM 的 GCG 自动对抗后缀
2024  多模态对抗攻击、Agent 对抗安全

核心观点：
神经网络中的线性操作（矩阵乘法）在高维空间中
对微小扰动具有放大效应。

数学说明：
设输入维度为 n，权重向量 w，扰动 η（||η||∞ ≤ ε）
线性激活的扰动效果：w^T η ≤ ε·||w||₁

当 n 很大时（如 ImageNet 图片 224×224×3 ≈ 150,528 维）：
即使每个维度只有 ε=0.01 的扰动
累积效应可达 ε·||w||₁ = 0.01 × 150,000 × 0.01 ≈ 15

结论：高维线性操作使得微小扰动产生显著影响

核心观点：
训练数据中存在\"非鲁棒但具预测性的特征\"
模型在最大化训练准确率的过程中也学习了这些脆弱特征。

实验证据：
- 构造仅包含\"非鲁棒特征\"的新训练集
- 在新训练集上训练的模型能在标准测试集上达到高准确率
- 但同时在对抗样本上仍然失败

含义：
对抗脆弱性不是 Bug，而是模型从数据中合理学习的结果
真正的鲁棒性需要人类可理解特征的显式引导

核心观点：
在高维空间中，数据流形附近存在大量\"对抗区域\"
这些区域与正确分类区域的边界极近但密集。

几何直觉：
├── 数据点附近的决策边界比直觉上更近
├── 高维球的表面积大部分集中在赤道附近
│   → 随机游走很容易到达决策边界另一侧
└── 神经网络的非线性决策边界高度扭曲
    → 某些方向上边界距离极小

攻击目标分类：
├── 有目标攻击（Targeted Attack）
│   目标：使模型预测为特定错误类别 t
│   形式：min ||δ|| s.t. f(x+δ) = t
│
└── 无目标攻击（Untargeted Attack）
    目标：使模型预测为任意错误类别
    形式：min ||δ|| s.t. f(x+δ) ≠ y

攻击者知识分类：
├── 白盒攻击（White-box）
│   攻击者可访问：模型架构、权重、梯度
│   代表方法：FGSM、PGD、C&W
│
├── 灰盒攻击（Gray-box）
│   攻击者可访问：模型架构，但无法获取当前权重
│   代表方法：Transfer Attack
│
└── 黑盒攻击（Black-box）
    攻击者只能：查询模型获取预测结果（和/或置信度）
    分类：
    ├── 基于分数的黑盒：可获取置信度分数
    │   代表方法：ZOO、NES
    └── 基于决策的黑盒：只能获取最终标签
        代表方法：Boundary Attack、HopSkipJump

攻击场景分类（按部署环境）：
├── 数字空间攻击：直接操控输入像素/token
└── 物理世界攻击：通过打印、投影等方式实施
    代表场景：自动驾驶、人脸识别、OCR