你看到的“AI挖到洞”，几乎都发生在它覆盖不到的那80%里

原创

www.klsec.com
www.klsec.com

昆仑AI安全实验室

2026年11月2日 14:08
广东

去阅读

2026年5月，一篇arXiv论文给出了一个让很多人不舒服的数字。

研究团队构建了一个黑盒Web应用安全测试基准，5个生产级应用，118个真实漏洞，覆盖20多个CWE家族。然后让六个前沿模型——GPT-5.4、Codex 5.3、Claude Opus 4.7、Sonnet 4.6、Gemini 3.1 Pro、Gemini 3 Flash——在四种测试范式下跑了一遍。

结论是：黑盒测试下，前沿模型的真实覆盖率只有4%到8%。 即使用上外部安全工具——Playwright MCP、Burp Suite MCP——也只提升到10%到19%。

换句话说，你把最强的模型配上最好的工具，它仍然看不到大约五分之四的真实漏洞。

一、4%到8%到底是什么：不是“模型不行”，是“任务变了”

这个数字需要被正确理解，否则很容易被误读成“AI没用”。

论文里还有一个对照结果：当把结构化的渗透测试方法论编码进领域专用Agent时，每个漏洞家族的检出率可以超过50%，最高召回率达到80.5%。同一批模型，只是换了“怎么用”，覆盖率从个位数跳到了接近人类水平。

所以4-8%衡量的不是“模型能不能挖洞”，而是 “你把一个通用模型直接扔进黑盒环境，不给方法论、不给侦察结构，它自己能看见多少” 。答案是：很少。

“真实性覆盖率”的定义本身就说明了问题。它不是“模型报告了多少个疑似漏洞”，而是“在118个已知的真实漏洞中，模型命中了多少个”。这是一个召回率指标，不是精确率。4-8%意味着模型连“找到”这一步都只覆盖了一小部分，更不用说验证和证明。

ACM上另一篇论文把这件事拆得更细。研究团队做了一个“侦察-利用解耦”的实验：如果直接把准确的漏洞上下文喂给Agent，它的利用成功率高达90.0%。但让Agent自己去做侦察，按“定向漏洞召回率”衡量，天花板在大约50%，而且瓶颈明确指向 “解析非结构化遥测数据”的失败。

这意味着什么？模型“打”的能力远远强于“找”的能力。 给它一个已知的漏洞点，它几乎能打穿。但让它在没有任何先验信息的环境里自己发现那个点，它的搜索效率会坍塌。4-8%不是利用能力的失败，是侦察能力的结构性短板。

二、工具只把天花板从8%抬到19%：因为工具补的是“手”，不是“眼”

10-19%这个数字同样重要。它说明，加上Burp Suite MCP和Playwright MCP之后，覆盖率提升了一倍多，但仍然有超过80%的真实漏洞没有被触达。

为什么工具帮不上更大的忙？因为工具解决的是“执行”问题，不是“决策”问题。Burp MCP让Agent能发请求、能看响应；Playwright MCP让Agent能驱动浏览器、能操作页面。这些能力让Agent的“手”变长了，但它仍然不知道应该往哪里伸手。

用ACM论文的框架来理解：工具增强了“利用”这一端，但“侦察”那一端——决定测什么、按什么顺序测、什么时候切换方向——仍然依赖Agent自身的判断。而Agent在非结构化遥测解析上的失败，不是工具能补的。你给它再好的浏览器自动化，它看不懂页面背后的业务逻辑，不知道哪个参数是IDOR的入口，不知道哪个接口的响应里藏着权限校验的缺失。

更直白地说：工具让你跑得更快，但方向仍然是模型在定。方向错了，跑得越快，离目标越远。

三、那“剩下的80%”是什么：训练分布够不到的地方

把这组数字和另一个事实放在一起看，逻辑就完整了。

2026年7月的一篇分析指出，AI发现的漏洞分布 “会反映工具的培训分布，而这些工具必然锚定在历史CVE数据上”。AI不是在“随机找漏洞”，它是在根据训练数据里见过的模式去匹配。训练数据里有什么，它就更容易看见什么。

这解释了4-8%和10-19%的来源。那被覆盖的4-19%，很大程度上是训练分布内的低垂果实：常见的注入模式、标准的认证绕过、有大量公开CVE先例的组件漏洞。这些东西在训练数据里反复出现，模型学会了它们的“形状”。

那剩下的80%呢？是没有足够训练先例的漏洞。业务逻辑缺陷（优惠券叠加、状态机绕过、多租户隔离缺失）、需要跨多个请求才能触发的链式漏洞、依赖特定配置组合才能成立的权限提升、以及那些“代码看起来完全正常、只有在特定运行时上下文中才变成漏洞”的问题。

Linus Torvalds在2026年5月对Linux内核安全邮件列表的评价，从另一个方向印证了这一点：“几乎完全无法管理，因为不同的人用同样的工具找出同样的东西，造成大量重复”。大量AI辅助的漏洞报告在重复发现同一批已知问题，维护者要花几个小时分类重复项和误报，才能轮到真正的问题。AI的产出在“量”上惊人，但在“新”上贫瘠。

AI挖到的“洞”，很多是你本来就会挖到的洞。它把“重新发现已知”的成本降到了接近零，但没有把“发现未知”的成本降下来。

四、一个更残酷的交叉数据：企业本来就只测了32%的攻击面

如果把AI的4-19%覆盖率，叠加上企业真实测试覆盖率的背景，画面会变得更完整。

Synack和Omdia在2026年的调查显示，企业平均只测试了32%的全球攻击面，存在68%的覆盖缺口。95%的安全团队在过去一年中，在计划测试窗口之外发现了高危或严重漏洞，其中42%至少每月发生一次。79%的组织表示，没有经过人工验证，不会依据AI生成的发现采取行动。

Dark Reading的报道给出了一个更直接的信号：愿意完全依赖AI驱动渗透测试来满足安全需求的组织比例，从2025年的29%降到了2026年的9%。经过一年的实验，CISO们的信心在下降，不是因为他们不相信AI能“找到东西”，而是因为他们发现AI的盲区不是随机分布的，而是系统性地偏向那些真正难以发现、也真正危险的东西。

把两组数字放在一起：企业用传统方法覆盖了32%的攻击面，AI在它能触达的黑盒范围里覆盖了4-19%的真实漏洞。 两个数字的交集，可能比你想象的还要小。那68%未被测试的攻击面，AI不仅没有覆盖，而且它恰恰是AI最不擅长覆盖的部分——没有训练先例、没有模式可匹配、需要人类业务判断的地方。

五、方法论，不是规模：论文自己给出的杠杆

arXiv论文的第三个发现，值得单独拿出来说。

“方法论，而不是规模，才是主要杠杆” 。同一批前沿模型，在“直接提示+工具”范式下覆盖率4-19%，在“结构化方法论编码进领域专用Agent”范式下，每个漏洞家族的检出率超过50%，最高召回率80.5%。

这意味着两件事。

第一，你现在看到的“AI挖到洞”的案例，绝大多数发生在方法论已经被注入的上下文里。 人告诉Agent“先看JS找API端点”“用两个账号对比响应”“试试UUID遍历”，Agent照着做，然后“发现了”漏洞。发现漏洞的是人给的流程，Agent执行了流程。 4-8%是Agent在没有流程时的裸奔成绩，不是它在真实工作流里的成绩。但“真实工作流”里的成绩，功劳不能全部记给模型。

第二，如果你在选AI安全工具，不要只看它“用的是哪个模型”。 看它的方法论密度：它有没有内置的结构化侦察流程？有没有角色分离的验证机制？有没有从“发现”到“证明”的强制门禁？一个把GPT-5.4直接接上Burp MCP的工具，和一个把OWASP WSTG编码进多Agent流水线的工具，在同一个模型上可能差出数倍的覆盖率。论文的数据是：方法论带来的提升，远大于从Sonnet换到Opus带来的提升。

六、对你意味着什么：三个可操作的判断

第一，把“AI能挖到洞”和“AI能覆盖你的真实攻击面”分开评估。 一个工具能在一个靶场上弹Shell，和在你的生产环境里发现那80%训练分布之外的漏洞，是两种完全不同的能力。4-8%和10-19%衡量的是后者。如果你用AI的目的是“发现我手工没发现的东西”，你需要的不是更强的模型，是更强的方法论编排和更透明的覆盖率报告。

第二，把人的时间重新分配。 Synack的数据是95%的高危漏洞在计划外被发现，FIRST的分析是“瓶颈不再是发现，是人类验证、协调和修补的容量”。AI把“产生候选”的成本压到了接近零，但“证明候选是真的”和“判断候选值不值得修”的成本没有下降。你的团队的时间，应该从“找”向“验证”和“判断”转移。一个只会用AI生成报告、但没有能力验证报告的团队，产出的是一堆需要别人花更多时间去筛的噪音。

第三，接受“覆盖率”作为一个诚实的指标。 4-8%这个数字不舒服，但它有用。它告诉你：当前沿模型在没有方法论加持时面对一个陌生环境，它看到的东西极其有限。 这不是要你放弃AI，是要你把预期放对——AI是一个在结构化流程下加速执行的工具，不是一个替代人类判断力的发现引擎。你追的“最强模型”，解决不了侦察的结构性短板。能解决那个短板的，是方法论、是流程、是你自己知道该往哪里看。

写在最后

“AI挖到洞”这件事是真的。但那个洞，大概率在训练分布覆盖的那4-19%里，在低垂果实里，在本来就会被重复发现的那一堆里。

真正有价值的漏洞，在那80%里。它们没有足够的训练先例，没有标准模式可匹配，需要跨请求的链式推理，需要对业务逻辑的理解，需要“知道这个系统是怎么设计的、所以哪里可能出问题”的判断力。这些恰恰是通用模型在没有方法论编排时最不擅长的东西。

AI把“重新发现已知”变得极其廉价。它还没有把“发现未知”变得廉价。 你看到的所有“AI挖到洞”的故事，几乎都发生在后者还没有被解决的背景下。把这件事想清楚，比追任何一个新模型版本都重要。

严正声明

本文所述所有基准数据、研究结论及行业调查，仅用于已获得明确书面授权的安全测试、代码审计、红队演练和安全研究场景。arXiv:2605.23243、ACM Decoupling Reconnaissance and Exploitation论文、Synack/Omdia 2026年报告、Cobalt 2026年报告及Dark Reading报道的数据均来自公开来源，实际效果因模型配置、任务类型和评估方法而异。4-8%和10-19%的覆盖率数据特定于该论文的黑盒Web应用测试基准，不应直接外推为所有AI安全工具或所有场景的通用指标。未授权扫描、测试、攻击行为违反《中华人民共和国网络安全法》第27条及《刑法》第285条，将承担法律责任。技术无罪，边界是法律。