换模型不如换架构：52 组实测之后，AI Agent 挖漏洞真实排名

穹苍经略

2026年10月20日 07:00
北京

去阅读

以下文章来源于网络安全透视镜
，作者网络安全透视镜

网络安全透视镜
.

网络与信息安全学习三境界 第一重：昨夜西风凋碧树。独上高楼，望尽天涯路；第二重：衣带渐宽终不悔，为伊消得人憔悴；第三重：众里寻他千百度。蓦然回首，那人却在，灯火阑珊处；

星标代表关注度，不代表漏洞发现率；单次 Demo 跑通，不代表在 63 道题上稳定。我们把腾讯安全云鼎实验室的实测数据和 GitHub 生态数据叠在一起看，结论和大多数人的直觉相反。

如果你今年要选一个 AI 渗透 Agent 落地，第一个该想清楚的问题是：预算应该花在换更强的模型上，还是花在挑更好的架构上？

过去一年，行业里的默认答案是「模型」。毕竟大家看到的是同一个现象：换个新模型，Agent 立刻变聪明。

但 2026 年 Q2 的一批公开数据，给出了一个不太一样的答案。

腾讯安全云鼎实验室的 TSecBench v1 用 63 道题、六大能力域，跑了 13 个 Agent × 4 个国产主流模型 × 3 轮，共 156 份结果，选出 52 组「最优轮次」。这是目前少有的、能在统一题集和环境里横向比较的公开数据。

与此同时，GitHub 上「AI 渗透测试」赛道的星标格局也基本定型：Strix 60.1k、Shannon 47.6k、PentAGI 22.2k……

两份数据单独看都有盲区。

所以我们就把两份数据叠在了一起。

开篇 · 四个反直觉的发现

架构比模型更决定成败

同一个模型下换 Agent，成功率平均波动 33.1 个百分点；同一个 Agent 换模型，平均波动只有 18.7 个百分点。前者接近后者的两倍。

模型决定天花板，架构决定你离天花板多远

Kimi K3 在 13 个 Agent 中的 11 个上是该 Agent 的最佳模型——模型确实定义了上限。但同样是 Kimi K3，最好的 Agent（90.5%）和最差的（56.8%）差了 33.7 个百分点。

所有人都在同一个地方摔跤：多阶段渗透

即便每个组合都取三轮最优，多阶段渗透的整体成功率只有 29.53%，完整解题率 8.33%。表现最好的 Cairn 也只有 44.6%。

效率差距大到可以写进预算表

CHYing 用 27.92M Token 换到 80.56% 的完整解题率；Cairn 用 458.50M Token 换到 82.14%。同样的分数，成本差 16.1 倍。

一、先看口径：这是能力上限，不是日常水平

在讨论任何排名之前，必须先把 TSecBench 的统计口径说清楚，否则所有数字都会被误读。

表 1 · TSecBench v1 评测设定

这是「三轮取优」的能力上限口径，不是典型运行均值。真实生产环境里，你拿到的大概率是这个数字的下方。

我们做了一次交叉验算：把 4 个模型各自的 13 个 Agent 成绩取均值，再对 4 个模型取总平均，结果是 67.52%——与报告公布的「52 组合总体 67.52%」完全吻合。口径自洽，数据可用。

二、实战榜：13 个 Agent 的真实排位

按「每个 Agent 在四个模型上的平均成功率」降序排列。

图 0实战场 · 测评的尺度

13 个 Agent 在 TSecBench 的 63 道题上跑出的真实排位，是这一节的主语。

表 2 · 实战成功率排行（跨 4 模型平均）

耗时与 Token 为单题平均值。数据来源：TSecBench v1 测评报告。

三个读法

第一梯队没有断层。第 1 名（77.70%）到第 4 名（73.65%）只差 4.05 个百分点。这意味着在同等条件下，前四名的能力差距小于单次运行的随机波动——选型时不必迷信第一名。

头部和尾部的差距是 31.75 个百分点。这个数字比模型之间的差距（16.73 pt）大得多。

单组合最高分是 90.54%，并列两个。T3MP3ST + Kimi K3 与 Cairn + Kimi K3 打平，前者耗时更短（14.49 h vs 18.39 h）。

三、换架构比换模型更值

这是本文最想说清楚的一件事。

图 1「换架构」比「换模型」更值

固定一者、换另一者，13 Agent × 4 模型下的成功率极差。

先看模型层。把每个模型在 13 个 Agent 上的成绩平均：

表 3 · 模型层：跨 13 个 Agent 的平均成功率

模型层极差 16.73 个百分点。

Kimi K3 确实是当前最强底座，而且在 13 个 Agent 中的 11 个上是最佳模型——模型决定天花板的位置，这一点没有疑问。

但有意思的在下面。我们算了两组极差。

A. 固定模型，换 Agent

同一个模型下，最强 Agent 和最弱 Agent 差多少？

B. 固定 Agent，换模型

同一个 Agent 下，最强模型和最弱模型差多少？——平均 18.7 pt。其中 T3MP3ST 最敏感（31.0 pt 波动：Kimi K3 90.5% vs MiniMax M3 59.5%），shannon 最稳定（12.2 pt：Kimi K3 70.3% vs DeepSeek 58.1%）。

33.1 对 18.7。选型的优先级因此很明确：先挑对架构，再配最好的模型。

一个值得注意的细节：shannon 只有 12.2 pt 的模型极差，是全场最稳的。这说明某些架构设计（严格的任务图、候选去重、验证门禁）能显著降低对模型能力的依赖。反过来说，T3MP3ST 的 31.0 pt 极差意味着它的表现高度绑定模型——给它配错模型，成绩直接掉三成。

对工程团队的含义是：如果你无法保证永远用得起最强模型，那么架构的「模型鲁棒性」应该是一个明确的技术指标。

四、效率榜：一张被大多数排名忽略的账单

成功率排行榜里看不到成本。但对要真正跑起来的人来说，成本就是可行性。

图 2解题能力几乎一样，Token 差 16.1 倍

CHYing（27.9M）与 Cairn（458.5M）的完整解题率只差 1.6 个百分点。

我们算了两个效率指标：Token 效率（每拿到 1 个百分点完整解题率要烧多少 M Token）和时间效率（每小时拿到多少个百分点）。

表 4 · 效率排行（按 Token 效率升序，越省越好）

几个刺眼的对比

CHYing vs Cairn：Token 差 16.1 倍，分数只差 1.58 个百分点。CHYing（80.56% / 27.92M）和 Cairn（82.14% / 458.50M）的完整解题率几乎持平，但 Cairn 多烧了 430M Token。这不是「贵一点」，这是两个数量级的工程差距——背后是上下文管理、工具结果裁剪、记忆压缩、无效重试控制的全面落后。

CyberStrikeAI 是时间效率之王：4.86 pt/h。15.92 小时拿到 77.38% 完整解题率。相比之下 PentestAgent 花了 35.92 小时只拿到 52.78%（1.47 pt/h），时间效率差 3.3 倍。

shannon 是个矛盾体。Token 效率全场第二（0.36 M/pt，只烧 23.92M），但耗时最长（31.31 h）、成功率倒数第四（63.85%）。它把成本压到了极致，也把速度牺牲掉了。

Cairn 是最贵的选手，也是最强的选手。458.50M Token 是全场第二名的 1.75 倍。你为那 1.58 个百分点的优势付出的代价，是 16 倍的成本。值不值，取决于你的场景——如果是高价值目标的深度测试，值；如果是 CI 门禁每日跑，不值。

五、能力域：所有人都在同一个地方摔跤

六大能力域的成绩，暴露了整个行业的共同短板。

图 3优秀的单点手，糟糕的指挥官

多阶段渗透普遍 5–45%，云攻击普遍 83–100%。13 个 Agent 撞在同一面墙上。

表 5 · 六大能力域成功率

单位：%。加粗为该列最优。

云攻击和对抗规避已经「能打」了。云攻击普遍在 83%–100%，对抗规避在 76.8%–100%。这两类任务目标明确、反馈清晰，正是当前 Agent 擅长的形态。

多阶段渗透是全体塌陷区。最高只有 Cairn 的 44.6%，中位数在 35% 左右，垫底的 PentestAgent 只有 5.4%。即便三轮取优，整体成功率也只有 29.53%、完整解题率 8.33%。

单点强 ≠ 链路强。LuaN1ao 二进制挖掘 90.4%（并列第一），多阶段渗透却只有 28.6%。BreachWeave 漏洞利用 69.4%，多阶段 35.7%。当前的 AI 渗透 Agent 普遍是「优秀的单点手 + 糟糕的指挥官」。

一个有趣的例外是 shannon：二进制挖掘只有 42.3%（全场最低），但多阶段渗透 42.9%（全场第二）。它的白盒定位决定了取舍——读源码做架构推理，不擅长二进制，但严格的任务图和验证门禁让它在长链任务上反而不掉队。

这意味着什么？长链任务的规划、状态保持、失败恢复，是 2026 下半年真正的战场。谁先把多阶段渗透从 30% 拉到 60%，谁就重新定义了这个赛道。

六、生态榜：GitHub 星标前十的工程成色

星标是另一半真相。我们按「执行型 Agent」口径统计（能调用工具、执行目标交互并形成决策闭环），排除了纯技能库和静态分析器。

图 4生态场 · 节点之间的连接

一个被频繁复用、持续维护的项目，应当在生态里是一个有连接的节点，而不是孤岛。

表 6 · GitHub 执行型渗透 Agent 星标 Top 10

口径说明：reverse-skill（约 34k）和 Anthropic-Cybersecurity-Skills（约 32k）虽然星标极高，但属于「技能/知识底座」，没有自己的目标执行引擎；VulnHuntr（约 2.8k）是 LLM 驱动的 Python 静态调用链分析器。这三类不与执行型 Agent 混排。

最值得注意的一件事：星标和实战严重脱节。

Strix 60.1k 星标，没有参加 TSecBench 评测。生态热度第一，实战数据空白。

Shannon 47.6k 星标，工程分 91（最高），实战只有 63.85%（第 10）。设计完备度拉满，实测排名靠后。

Cairn 只有约 2.5k 星标，实战第一（77.70%）。冷门，但最能打。

七、交叉验证：五个两边都上榜的项目

有 5 个项目同时出现在两份榜单里。它们是最有分析价值的样本，因为可以验证「工程完备度」和「实战得分」到底相不相关。

图 5GitHub 热度 ≠ 实战能力

Strix 60.1k 星标未参评；Cairn 仅约 2.5k 星标却拿下实战第一。

表 7 · 双源样本的一致性检验

结论：工程完备度和实战得分的相关性很弱，在部分项目上甚至是负相关。

为什么会这样？因为两套评价体系奖励的东西不一样。

TSecBench 的 63 道题奖励「精悍的任务闭环」——快速定位、准确利用、拿到 flag。它不奖励可观测性、可运维性、企业级治理、报告合规。

工程评估奖励「架构成熟度」——隔离、记忆、编排、证据管理、CI 集成、人工审批。这些在解题榜上是纯开销。

所以正确的选型姿势是分场景，而不是找一个「全能冠军」。

另外提醒一个容易被忽略的事实：CAI 的仓库已经归档，官方引导迁移到 CSI。它的实战成绩（67.91%，第 8）其实不差，但生产选型必须单独扣分——能力在线，维护停摆。

八、综合排名总榜

把两份数据合并，我们构建了这样一个综合指数：

综合指数 = 0.6 × 实战成功率  +  0.4 × 工程与生态分

权重偏向实战，因为可复现的实测数据比架构评审更硬。

必须诚实说明：只有 5 个项目有双源数据；其余项目缺失的维度用该榜单均值填充（实战填充 67.52，工程填充 79.1），斜体灰字为填充值，不代表真实评价。这张表的价值在于给出相对位置，而不是精确分差。

表 8 · 综合指数总榜（19 项）

分档说明

S 档（≥77）：Cairn。唯一在两个维度都被独立验证的选手。

A 档（74–77）：CHYing、Strix、LuaN1ao、BreachWeave、Decepticon、Claude Code、CyberStrikeAI、shannon、T3MP3ST。九个项目挤在 3 个指数点内，选哪个取决于场景，不取决于排名。

B 档（67–74）：PentestGPT、pi、Pentagi、Agentic Bug Hunter、HexStrike AI、METATRON。各有专精，通用能力一般。

C 档（<67）：cai（归档）、ctfSolver、PentestAgent。

九、选型建议：按你的角色选，别按排名选

A 档九个项目挤在一起，本身就说明「综合排名」只能帮你排除，不能帮你决定。真正的选择逻辑是场景。

一条通用的工程建议：无论选哪个，都要在编排层之外自己补上目标与权限边界、凭据隔离、证据存储、重复发现去重、人工审批这五件事。目前没有任何一个开源 Agent 把它们做全了。

十、2026 下半年，看什么

基于这批数据，我们判断五个方向。

01

从「工具调用」转向「状态空间搜索」

排名第一的 Cairn 不是工具流水线，而是把渗透测试抽象成「事实-意图图」上的状态空间搜索，Worker 通过 OODA 循环探索，不预设固定角色。Pentest-Swarm-AI 用共享 pgvector 黑板做 stigmergic 协作。固定角色的 Multi-Agent 可能是过渡形态。

02

技能底座与执行引擎会合流

reverse-skill（34k）和 Anthropic-Cybersecurity-Skills（32k）代表了另一条路：不写执行引擎，只做安全知识密度的提升。它们大概率会与 Strix、Cairn 这类引擎组合，而不是互相替代。

03

长链任务是唯一的分水岭

多阶段渗透 29.53% 的成功率是全行业的耻辱柱，也是最大的机会窗口。谁能把它拉到 60%，谁就重新定义赛道。

04

Token 成本会成为产品级指标

16.1 倍的效率差距说明，上下文管理、工具结果裁剪、记忆压缩不再是「优化项」，而是核心竞争力。未来 Agent 的技术文档里，Token 效率会和成功率并列。

05

五个可审计部件会成为标配

目标与权限边界、任务图、工具运行时、证据图/记忆、验证与报告门禁。真正拉开差距的不是模型名称或工具数量，而是能否在受控环境中重复完成「假设 → 行动 → 证据 → 复现 → 结论」，并在失败时可恢复、可追踪、可人工接管。

· · ·

回到开头的问题：换模型，还是换架构？

数据的答案是：先把架构挑对，再把模型配到最好。架构决定了你的波动区间（33.1 pt），模型决定了这个区间的上限（18.7 pt）。顺序搞反了，花再多钱也是在错误的架构上换引擎。

但也要记住：这批数据反映的只是「能力上限」。三轮取优、统一靶场、63 道题——它是一个干净的实验环境，不是你的生产环境。真实落地时，你大概率拿不到 77.70%，你会拿到这个数字下方、并且伴随着误报、超时和需要人工兜边的长尾。

最后，也是最重要的

本文涉及的所有 Agent 都具备主动扫描或利用能力。任何实际运行都应严格限定在自有资产、书面授权范围、CTF/靶场或明确允许的 Bug Bounty 计划内。优先使用本地、测试或临时环境，并为网络范围、凭据、速率、日志和数据清理设置显式策略。

TSecBench 的全部测评也均在授权、受控的靶场环境中完成。

技术是中性的，边界是人的。

AI中转站：https://coding101.site

数据来源

1. 腾讯安全云鼎实验室《智能渗透 Agent 能力测评报告（第一期，2026 Q2）》，基于 TSecBench v1 评测体系
2. GitHub 公开仓库星标与架构调研（数据时间：2026-09-02）