端到端管线成功率只有31%——你让新手直接上“全自动”，等于让他直接体验69%的失败，而他还不知道那69%里有多少是AI的锅

原创

www.klsec.com
www.klsec.com

昆仑AI安全实验室

2026年11月10日 00:49
广东

去阅读

2026年11月，IEEE发表了PentestEval的完整论文。9个主流LLM，346项任务，12个真实脆弱场景，六个阶段拆开跑。结论是一句几乎不带修饰的话：“端到端流水线成功率仅为31%，完全自主的智能体几乎彻底失败。”

同一批数据里还有一行更刺眼的描述。失败不是因为模型在某个阶段“想错了”。失败是因为 “管线静默地跳过或截断必要的测试阶段，而不是在任何一个单一阶段内推理错误”。

把这句话翻译成新手的体验：你启动了一个“全自动”的AI挖洞流程，它跑了两个小时，告诉你“未发现高危漏洞”。你以为它把该测的都测了，只是没找到东西。实际上，它可能在信息收集阶段就静默地跳过了某个子域，在攻击决策阶段截断了一条本该继续追的路径，或者在利用生成阶段因为一个格式错误放弃了一个真实的入口。你不知道它跳过了什么，因为它没有告诉你。它只是安静地结束了，给你一个“没有发现”的结论。

这就是“全自动”对新手最危险的地方。不是69%的失败率本身。是那69%的失败，对你来说是一个黑箱。你无法区分：是模型不够聪明、是Harness把命令弄丢了、是某个阶段的输入没有被正确传递、还是目标本来就没有漏洞。你只知道“失败了”，然后你把时间花在了“是不是我的Prompt写得不好”上。

一、31%和21%：全自动的失败率不是一个数字，是一个分布

PentestEval的31%需要和另一个基准放在一起看。

AutoPenBench用33个任务，从教学靶场到带CVE的真实系统，测了全自主Agent和允许人介入的半自主架构。全自主的成功率是21%。允许人介入的，是64%。 简单任务上，全自主是27%。真实世界任务上，它只完成了1个。

三倍的差距。AutoPenBench的作者把结论写得很直接： “这不是模型不行，是自主决策这条路本身还没走通。”

PentestEval把这条“还没走通的路”拆成了六个阶段，看失败具体发生在哪里。多数阶段的成功率低于50%。最差的是攻击决策和利用生成，都在25%上下。 弱点过滤和Exploit修正相对好一些，但“攻击决策”和“功能性Exploit生成”是结构性的短板。

这个分布的含义是：全自动管线的失败，不是均匀分布在六个阶段上的。它集中在你最需要判断力的那两个阶段。 信息收集可以靠工具跑，弱点过滤可以靠规则筛。但“现在该追哪条路径”和“这个路径的利用代码怎么写才能真的触发”，这两个阶段要求的是在不确定性中做选择的能力。模型在这两个阶段上的成功率，比你想象的低得多。

而“管线静默跳过阶段”这个行为，让失败变得更加不可见。一个正常的失败是：Agent尝试了攻击决策，失败了，记录了失败原因。一个“静默跳过”的失败是：Agent根本没有进入攻击决策阶段，或者进入之后因为某个上游输出的格式问题提前退出了，日志里没有“失败”，日志里什么都没有。你看到的是一个干净的“无发现”报告。

二、新手最需要的东西，不是“全自动”，是“可归因的失败”

一个新手用AI挖洞，第一阶段的目标不应该是“挖到洞”。应该是学会区分“这个方向值得继续追”和“这个方向应该放弃”。

这个能力只能从可归因的失败里长出来。你需要看到：我试了A路径，失败了，因为B原因。我试了C路径，成功了。我试了D路径，Agent说它成功了，但手工验证发现是缓存页面。每一次失败都对应一个具体的、可复现的原因，你才能在下一次遇到类似情况时做出正确的判断。

“全自动”把这一切拿走了。它给你一个最终的“成功/失败”二元结果，中间的过程是一个黑箱。一个新手从这个黑箱里学不到任何东西，因为他看不到“为什么”。他只能看到“AI说没有洞”，然后要么相信它（可能漏了），要么不相信它（但不知道从哪里重新开始）。

PentestEval的“阶段级”设计本身就是对这个问题的回应。它把渗透测试拆成六个阶段，分别评估每个阶段的表现，而不是只给一个端到端的分数。阶段级的分数告诉你“在哪里失败”，而不是只告诉你“失败了”。 这个区别，对新手来说是“可学习”和“不可学习”的区别。

AutoPenBench的21%对64%，是同一个逻辑的另一个侧面。“允许人介入”的价值不在于“人比AI强”，而在于“人可以在AI卡住的时候提供归因” 。人看到Agent在某个步骤反复尝试同一个失败的动作，可以判断“这个方向不对，换一个”，或者“这个工具的参数错了，改一下”。这个判断本身，就是新手需要学习的能力。全自动把这个学习过程跳过了，直接给了一个结果。

三、那69%里有多少是AI的锅，有多少是你的锅——你分不清，因为管线不告诉你

一个具体的场景。你用AI Agent测一个目标。它跑了两个小时，报告“未发现可利用漏洞”。你面临三个可能：

可能性一：目标确实没有漏洞。 这是最好的情况。但你无法确认，因为Agent没有给你一份“我测了哪些资产、覆盖了哪些端点、尝试了哪些攻击类型、哪些失败了、为什么失败”的台账。

可能性二：Agent漏了。 它跳过了某个子域，截断了某条路径，或者在一个本该继续的攻击决策点上提前退出。你无法确认，因为它没有记录“我考虑过这个方向，然后决定跳过”。被跳过的目标，不在“未完成”列表上。它根本不在列表上。

可能性三：Agent的“未发现”是错的。 它其实触发了某个漏洞，但确认环节因为一个nonce不匹配、一个缓存页面、或者一个格式错误，把真实的发现杀掉了。你无法确认，因为失败日志里只有“确认失败”，没有“确认失败的原因是不是一个环境问题”。

这三种可能性，对应三种完全不同的责任归属。第一种，你该接受结果。第二种，你该换一个Harness或者换一个方法论。第三种，你该修确认器或者换一个验证方式。但“全自动”的二元输出，不给你区分它们的信息。 你拿到的是一个“失败”，不是一个“可归因的失败”。

Agent安全研究里有一个被反复验证的现象：当Agent换了一个模型之后开始接连出错，你唯一的感知渠道是输出质量的变化，而质量变化恰恰最容易被归因到自己头上——“是不是我的Prompt写坏了” 。全自动把这个问题放大了。新手没有能力区分“Prompt问题”、“Harness问题”、“模型问题”和“目标本来就没问题”。他倾向于把所有的失败都归因到自己身上，或者全部归因到“AI不行”。两种归因都是错的，因为它们都不是基于证据的。

四、新手应该怎么用AI：从“部分自动化”开始，从“可归因”开始

这不是说“全自动”没有价值。PentestEval的31%是“能力上限”的测量，不是“日常使用”的体验。一个设计良好的Harness，在已知漏洞的复现和验证上，可以做到很高的成功率。MDASH用100多个Agent的编排，在CyberGym上拿到88.45%，在clfs.sys组件上做到96%召回率。但这些数字的前提是：有人在设计编排、有人在定义验证标准、有人在判断“什么算完成”。 这些“人”的工作，恰恰是新手最需要学习的部分。

对新手来说，一个更合理的路径是从“部分自动化”开始，而不是从“全自动”开始。

第一，先做“阶段级”的自动化，而不是“端到端”的自动化。 用AI帮你做信息收集、JS端点提取、报告初稿生成。这些阶段的失败是可归因的：端点提取漏了，你可以对比手工提取的结果；报告结构不对，你可以看到AI改了什么。把“攻击决策”和“利用生成”留给自己，或者至少留到你能判断AI在这两个阶段上的输出质量之后。PentestEval的数据说，这两个阶段是失败最集中的地方。新手在这两个阶段上依赖全自动，等于把自己放在了失败率最高的位置上。

第二，要求AI给你“台账”，而不是“结论”。 一个有用的AI辅助工具，应该能告诉你：它测了哪些资产、每个资产上尝试了哪些攻击类型、哪些成功了、哪些失败了、失败的具体原因是什么。覆盖率台账比“发现列表”更有学习价值。一个新手从台账里能看到“原来这个方向我没想到”，从结论里只能看到“哦，没有洞”。

第三，用“人在回路”来学习“什么时候该停”。 AutoPenBench的21%对64%说明，人介入之后，成功率翻了三倍。这个“介入”不是“帮AI敲命令”，是在AI卡住或者跑偏的时候，提供判断。新手需要练习的，就是这种判断：什么时候应该让Agent继续追，什么时候应该换一个方向，什么时候应该停下来手工验证。这些判断只能通过“看到失败、理解失败、然后做出不同的选择”来学会。 全自动不给你这个循环。

第四，把“AI说没有洞”当成一个需要被验证的假设，而不是一个可以被接受的结论。 如果你的AI Agent跑了两个小时说“没有发现”，你的下一个动作不应该是“收工”，也不应该是“换个模型再跑一遍”。你的下一个动作应该是看台账：它覆盖了哪些你本来认为有戏的路径？那些路径上它做了什么？为什么停了？如果台账是空白的，或者只写了“no findings”，那你拿到的不是一个“结论”，是一个未经验证的沉默。

写在最后

31%的端到端成功率，不是一个“AI还不行”的证据。它是一个“全自动的失败是一个黑箱”的证据。

69%的失败里，有一部分是模型的能力边界，有一部分是Harness的设计缺陷，有一部分是目标本身的不可利用性，还有一部分是“你以为它测了，其实它跳过了”。 一个新手面对这个黑箱，最需要的东西不是“更强的模型”，也不是“更猛的Agent”。他需要的是让失败变得可归因。

AutoPenBench的21%对64%说的是同一件事：人在回路不是“AI不够强时的临时方案”，是“学习如何判断”的唯一路径。 你只有在看到足够多的“可归因的失败”之后，才有能力在“全自动”跑起来的时候，判断那个“没有发现”到底意味着什么。

下次你让AI跑一个目标，在它说“没有发现”之后，先别关窗口。问它一句：你试了什么？哪里失败了？为什么停在那里？ 如果它答不上来，你拿到的不是一个结论，是一个你无法负责的沉默。

严正声明

本文所述所有基准数据、研究结论及案例，仅用于已获得明确书面授权的安全测试、代码审计、红队演练和安全研究场景。PentestEval（IEEE，2026）、AutoPenBench、PentestGPT、MDASH、ARTEMIS等基准和系统的数据均来自公开论文和技术分析，实际效果因模型配置、任务类型、Harness设计和评估方法而异。31%和21%等数据特定于其测试设定，不应直接外推为所有AI安全工具或所有场景的通用指标。未授权扫描、测试、攻击行为违反《中华人民共和国网络安全法》第27条及《刑法》第285条，将承担法律责任。技术无罪，边界是法律。