网络安全人士必知的AI Agent网络攻防能力基准测试框架BountyBench

原创

承影
承影

兰花豆说网络安全

2026年10月13日 00:00
湖北

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

BountyBench：斯坦福给 AI Agent 出了一套真实攻防考题，结果值得网络安全行业关注

如果让 AI 找漏洞、验证攻击、修复代码，你觉得它能做到什么程度？

让 AI 回答一道 SQL 注入题，它可能答得头头是道；但让 AI 面对一个真实的软件项目，自主分析代码、发现未知漏洞、验证漏洞是否能够被利用，再提交补丁并保证系统正常运行，难度就完全不同了。

真正的网络安全能力，不是把漏洞原理讲清楚，而是能够在真实的软件环境中发现问题、验证问题，并解决问题。

2025 年，斯坦福大学相关研究团队推出了 BountyBench，尝试用真实软件系统和漏洞赏金案例，衡量 AI Agent 在网络攻防中的实际能力。这项研究后来入选 NeurIPS 2025 的 Datasets and Benchmarks Track，为评估 AI 的攻防能力提供了一个值得关注的基准。

一、BountyBench 到底是什么？

Bounty 是赏金，Bench 是基准测试。

简单来说，BountyBench 是一套基于真实软件系统和漏洞赏金案例，评测 AI Agent 网络攻防能力的基准测试框架。

它不是简单地让 AI 回答网络安全问题，而是把 AI Agent 放进真实软件项目的代码与运行环境中，让它完成具体的安全任务，再通过自动化评测验证结果。

根据斯坦福官方研究介绍和 NeurIPS 2025 论文，BountyBench 的核心规模如下：

• 25 个具有复杂真实代码库的软件系统。
• 40 个经过验证并获得赏金的漏洞案例。
• 覆盖 OWASP Top 10 中的 9 类风险。
• 单个案例的赏金金额从 10 美元到 30,485 美元不等。

这里的赏金金额来自真实漏洞赏金项目，不是研究人员人为设置的分数。它为衡量任务的潜在经济价值提供了一个参考维度。

需要注意，赏金金额并不等于企业实际损失，也不代表 AI 已经赚到了这些钱。

二、BountyBench 如何测试 AI？三个核心任务

BountyBench 将漏洞生命周期中的关键工作拆成三个任务：Detect、Exploit 和 Patch。

1. Detect：能不能发现未知漏洞？

研究人员向 AI 提供软件项目及相应环境，但不会直接告诉它漏洞在哪里。

AI 需要理解代码结构、分析程序行为、识别潜在风险，并提交能够被验证的漏洞发现结果。

这项任务最接近真实的自主漏洞挖掘。它考验的不是 AI 是否认识某种漏洞，而是能否从复杂代码中发现此前未知的安全问题。

2. Exploit：能不能证明漏洞可以被利用？

发现可疑代码，不等于证明漏洞真实存在。

在 Exploit 任务中，AI 会获得特定漏洞的相关信息，需要进一步构造验证方法，在目标环境中证明漏洞能够被触发。

评测重点是结果是否成立，而不是 AI 写了多长的攻击代码，或者给出了多么完整的漏洞分析报告。

这一区别很重要：AI 声称发现了漏洞，与 AI 真正证明漏洞可以被利用，是两回事。

3. Patch：能不能修复漏洞而不破坏业务？

Patch 是防御侧的核心任务。

AI 需要理解漏洞成因，修改相关代码，并通过测试验证补丁是否有效。

合格的修复不仅要解决安全问题，还应尽可能保证原有功能正常运行，不能为了消除漏洞而简单关闭功能、破坏业务逻辑。

因此，三个任务分别考察：

发现漏洞 → 验证漏洞 → 修复漏洞。

它们构成了漏洞生命周期中的关键环节，但各自的评测结果不能直接互相替代。

三、BountyBench 与普通安全测试有什么不同？

BountyBench 的价值，不仅在于题目更加复杂，更在于它尝试让评测过程接近真实工程实践。

首先，测试环境是真实的软件项目。研究团队需要安装依赖、启动服务、准备数据库，并确保环境能够正常运行。

其次，评测强调可验证结果。漏洞利用需要证明目标漏洞确实能够被触发；补丁则需要验证漏洞不再能够被利用，同时检查系统功能和运行状态。

再次，它会通过提供不同程度的信息来调节 Detect 任务的难度。从几乎没有线索地发现未知漏洞，到获得更具体的漏洞类型信息，再到针对已知漏洞进行验证，AI 面临的任务难度并不相同。

最后，BountyBench 不只关注成功率，还记录任务对应的赏金价值和模型使用成本等指标。

这意味着，我们不仅可以问 AI 完成了多少任务，还可以进一步分析：完成的是什么任务、对应多少赏金价值、花费多少调用成本。

四、官方实验数据揭示了什么？

这里需要特别区分两个研究版本。

斯坦福团队早期发布的研究介绍评测了 5 个 Agent 配置；NeurIPS 2025 正式论文摘要则报告评测了 10 个 Agent 配置，增加了不同模型及 Agent 组合。

因此，以下数据以正式论文摘要为主，不能与早期版本的数据混为一谈。

1. Detect：自主发现漏洞仍然很难

在正式论文摘要报告的实验中，OpenAI Codex CLI 搭配 o3-high 的 Detect 成功率为 12.5%，对应 3,720 美元的任务赏金价值。

这说明，即使是能力较强的 Agent，在没有明确指出漏洞位置的情况下，面对真实复杂软件项目，自主发现漏洞依然是一项困难任务。

需要说明的是，这里的 3,720 美元是成功完成任务所对应的赏金价值，不是 AI 实际获得的收入。

2. Exploit：获得线索后，AI 的表现明显更强

正式论文摘要中，表现最好的 Exploit 配置是采用 Claude 3.7 Sonnet Thinking 的自定义 Agent，成功率达到 67.5%。

与 Detect 相比，这一结果说明：当任务已经提供特定漏洞的相关信息时，AI 更有机会利用代码理解、工具调用和多轮操作能力完成漏洞验证。

不过，不能据此简单认定 AI 已经具备同等水平的自主漏洞挖掘能力，因为两个任务的输入条件不同。

3. Patch：当前实验中，修复能力表现突出

正式论文摘要报告，OpenAI Codex CLI 搭配 o3-high 和 o4-mini 的 Patch 成功率均达到 90%。

两种配置对应的任务赏金价值分别为：

• o3-high：14,152 美元。
• o4-mini：14,422 美元。

这说明，在这套基准和相应实验条件下，部分 Agent 在已知漏洞的修复任务上表现出较强能力。

但这不意味着它们能够修复 90% 的所有现实漏洞，更不意味着在任何企业代码库中都能达到同样的成功率。

上述数据均来自 NeurIPS 2025 论文摘要，属于特定版本、特定任务和实验条件下的结果。

五、为什么 AI 的攻防能力并不均衡？

从 BountyBench 的实验结果中，可以看到一个值得网络安全行业关注的现象：发现漏洞、利用漏洞和修复漏洞，是三种不同的能力。

首先，发现未知漏洞需要较强的探索能力。AI 必须在大量代码和复杂业务逻辑中寻找尚未被明确指出的问题。

其次，利用已知漏洞需要把已有线索转化为可验证的执行结果。这需要 AI 理解程序行为、操作工具，并根据运行反馈不断调整策略。

最后，修复已知漏洞需要理解代码成因、修改实现并通过验证。在某些场景下，这类任务可以利用明确的漏洞报告和测试条件，因此与自主发现未知漏洞的难度并不相同。

这也解释了为什么某些 Agent 的 Patch 成功率很高，Detect 成功率却相对较低。

不能因为一个 AI 能够高效修复漏洞，就认定它已经是顶级漏洞研究员；同样，也不能因为它能构造攻击，就认定它具备可靠的防御能力。

六、BountyBench 对网络安全行业有什么启示？

我认为，至少有三个方向值得安全厂商和企业安全团队关注。

第一，从漏洞扫描走向漏洞验证

传统安全工具能够发现风险线索、匹配漏洞特征并生成告警，但告警并不等于漏洞一定能够被利用。

未来的 AI 安全测试，需要把代码分析、运行时验证、漏洞复现和证据生成结合起来，提高结果的可信度和可操作性。

第二，从生成修复建议走向修复闭环

AI 生成一段修复代码，并不意味着漏洞已经解决。

真正有价值的能力，是让 Agent 在隔离环境中完成代码修改、测试、回归验证和补丁评估，再由工程师审核后进入交付流程。

第三，从模型竞争走向工程能力竞争

网络安全 Agent 的表现，不只取决于底层模型，还与任务规划、工具调用、代码仓库理解、运行环境、验证机制和安全约束密切相关。

企业真正需要关注的，不只是使用了哪个模型，而是 Agent 能否可靠地完成任务，结果能否验证，成本是否可控，以及哪些环节必须由人审核。

七、最后谈谈我的看法

BountyBench 的意义，不只是给 AI 模型排个名次，而是把网络安全能力拆解成可以验证的工程任务。

过去，我们经常讨论 AI 能不能替代渗透测试工程师、能不能自动发现零日漏洞。但对企业来说，更重要的问题是：AI 能否在复杂、真实、可控的环境里，持续完成安全任务，并交付可信的结果。

AI 网络安全的竞争，正在从比谁更会分析漏洞，走向比谁能够更可靠地完成漏洞发现、验证、修复和复测。

当然，BountyBench 仍然是一套基准测试，不能覆盖所有现实攻防场景。企业环境中的权限边界、业务逻辑、遗留系统、误报成本和合规要求，都需要进一步评估。

但它提供了一个重要方向：未来评价安全 Agent，不应该只看它能否输出一份漂亮的漏洞报告，还应该看它能否拿出可复现的证据、可验证的修复结果，以及清晰的成本和风险评估。

这才是 AI 真正进入网络安全工程体系的关键一步。

官方参考资料

Stanford AI Lab，BountyBench 研究介绍：

https://ai.stanford.edu/blog/bountybench/

Stanford CRFM，BountyBench 研究页面及早期实验数据

https://crfm.stanford.edu/2025/05/21/bountybench.html

NeurIPS 2025，正式论文摘要及扩展评测结果：

https://papers.neurips.cc/paper\_files/paper/2025/hash/faed4276b52ef762879db4142655c699-Abstract-Datasets\_and\_Benchmarks\_Track.html

论文预印本：https://arxiv.org/abs/2505.15216

项目代码：

https://github.com/EnvCommons/BountyBench

END

推荐阅读

一文讲透 SCA 与 SBOM：软件供应链安全，为什么两者缺一不可？

2026-10-12

Anthropic 免费开放 AI 漏洞扫描：开源软件安全，正在进入 AI 自动化时代

2026-10-11

网安人必看！REA 开源工具，让 AI 直接参与软件逆向分析

2026-10-10

湖南网信办约谈4家大模型企业：安全不是上线后的补丁

2026-10-09

蜜网将成为抵御AI黑客的必备防线

2026-10-06