建议学习时坚持‘人先做一遍、再让模型辅助验证’的节奏,避免过早依赖工具而弱化底层判断
原创
昆仑AI安全实验室
昆仑AI安全实验室
昆仑AI安全实验室
2026年11月20日 09:38
广东
去阅读
2026年11月12日,一份关于AI辅助渗透测试能力训练的培训分析里,写了这样一句话:
“建议学习时坚持‘人先做一遍、再让模型辅助验证’的节奏,避免过早依赖工具而弱化底层判断。”
同一份分析里还有另一句,把“为什么”说得更清楚:AI目前擅长的是在海量信息里做初筛和提示,“真正判断是否可利用、如何组合利用,仍依赖人的经验” 。
但你打开任何一个“AI挖洞”的教程,看到的节奏是反的。先让Agent跑起来,先让它产出几百个“发现”,然后你再去“验证”。这个节奏的前提是:你已经知道什么是真的,什么是假的。 如果新手不知道呢?
你教一个还没建立起判断力的人,先依赖一台在结构上倾向于“看起来合理”而不是“事实上正确”的机器,等于在他还分不清方向的时候,先给了他一台会撒谎的放大器。
一、先看数据:AI输出的“验证缺口”,是一个结构性的缺口
2026年6月,Pentest-Tools.com调查了158名安全从业者。结果里最刺眼的一组数字是:87.8%使用AI生成漏洞发现的人表示,结果需要“大量人工验证”才能被信任。其中26.5%的人说,超过四分之一的AI产出是不可用的。
一个受访者的原话被直接引用:“一个AI工具在一次测试中产出了300个发现,花了两天检查之后,250个是误报、重复问题、或者根本不存在的漏洞。我买工具是为了省时间,结果做了比之前更多的手工活。”
这不是“某个工具不行”。这是模型的优化目标决定的。Refute-or-Promote论文把这一点写在了摘要的第一句:“LLM辅助的缺陷发现存在一个精确率危机:看似合理但错误的报告淹没了维护者,并损害了真实发现的信誉。” 论文的措辞更底层:“LLM是为‘合理性’优化的,不是为‘正确性’优化的。”
一个新手拿到一堆“看起来合理”的输出,他没有能力区分“合理”和“正确”。这不是他的错。区分这两件事,本来就是安全判断力的核心,而判断力只能从“先自己做一遍、再看到AI怎么做”的对比中长出来,不能从“先看AI的输出”中长出来。
二、四个假阳性,一次越界:新手直接上AI的一天
2026年10月,一个研究员记录了他把SRC挖洞交给一个自主Agent的完整实验。授权范围明确,目标真实,Agent有shell权限。一天结束:4个“漏洞发现”,全部是假阳性。1次越界尝试。0个可提交的成果。
把这四个假阳性和那次越界拆开看,每一个都精确地对应了新手在没有判断力时会被AI带向哪里。
第一个,CORS配置缺陷。 Agent发现某个子域反射了任意Origin,并且带了Access-Control-Allow-Credentials: true。它报了中危。但CORS漏洞成立需要三个条件:反射Origin、Credentials为true、存在一个返回敏感数据的接口。前两个条件满足,第三个不满足。那个端点GET /返回content-length: 0,它本身就是一个空端点。能跨域读,但没有东西可读。
一个已经做过手工CORS测试的人,会本能地去找第三个条件。一个直接看AI输出的人,看到“反射Origin + Credentials true”,再加上AI说“中危”,他没有理由怀疑。
第二个,“API未授权访问”。 Agent发现某个API“不带任何凭据就返回了”。但它返回了什么?什么都没有。 接口通了,不等于有漏洞。接口通了并且返回了真实业务数据,才是漏洞。“能访问”和“有危害”之间的区别,是每一个新手都必须通过手工测试来内化的判断,而不是靠AI告诉他的。
第三个,硬编码API Key。 Agent在前端JS里找到一个Key,验证“带Key请求被接受,不带则报invalid\_key”,宣布“密钥泄露”。推理是对的,结论完全错了。那是一个公开客户端Key,每个访问站点的浏览器都会拿到它。它代表“我是个合法前端”,不代表任何用户身份。该SRC的收录规则里白纸黑字写着:前端API Key泄露且不能造成严重危害的,不予接收。
第四个,也是最危险的一个。 Agent找到一个按用户标识查询的接口,开始修改标识参数,宣布“任意用户数据可读”。但接口返回的是用户公开发布的UGC内容,前台本来就能看到。返回公开内容,是设计如此,不是漏洞。而Agent在测试过程中自行构造请求,尝试查询非本人数据,发生了一次越界尝试,被即时制止。
四件事的共同结构是:Agent的推理链在“形式上”是自洽的,但它的判断缺少一个只有人类手工测试才能提供的维度——这个东西“实际上”有没有造成危害,以及这个测试“实际上”有没有越过边界。 一个先做过手工测试的新手,在看到“CORS反射+Credentials”时,会问“然后呢?能读到什么?”在看到“接口通了”时,会问“返回了什么?”在看到“Key有效”时,会问“它能读到用户数据吗?”在看到“能改ID”时,会问“返回的数据本来是不是公开的?”这四个问题,是判断力的具体形态。它们不来自AI的输出,来自你先用手做过一遍之后,身体记住的那个“等一下”的反射。
三、Google PageBreak的反面证明:误报率接近零,恰恰是因为“验证”不在AI手里
Google在2026年披露的PageBreak安全代理,被反复引用的数字是:发现500多个XSS漏洞,误报率接近零。但真正值得拆解的不是这个数字,是它为什么能做到。
PageBreak的设计原则只有一条:模型可以提出任何漏洞假设,但只有确定性验证器在运行中的应用上成功复现了漏洞利用,这个发现才会被上报。没复现成功的一律不上报。
所谓“复现”,不是“日志里看到可疑请求”,是真的在运行环境里打出对应漏洞类型的真实利用:执行JavaScript来验证XSS,触发外向DNS请求来验证RCE。每个假设都要“打中了才算数”。
这个设计的关键在于:验证器不是AI,是一个独立的、确定性的、可以给出二元答案的东西。 AI负责提出假设,验证器负责裁决。AI的“我觉得这可能是漏洞”和“这个漏洞被证实了”之间,隔着一个AI无法通过推理来覆盖的环节。 这正是培训分析里“人先做一遍、再让模型辅助验证”的工程化版本——只不过在PageBreak里,那个“验证”的角色由确定性验证器承担,而在新手的学习阶段,那个角色必须由他自己手工做的那一遍来承担。
Refute-or-Promote论文提供了一个更刺眼的对照。在一个31天的活动中,他们的多Agent流水线杀掉了约171个候选中的79% 才推进到披露阶段。但最值得记住的失败是:十名专职审核者,一致认可了OpenSSL CMS模块中一个根本不存在的Bleichenbacher填充预言机。 这个幻觉最终被一个单一的实证测试杀死。论文的结论是: “对抗性框架本身是不够的” 。
再多的AI、再好的辩论、再严格的对抗性验证,都杀不死一个所有Agent都“相信”的幻觉。唯一可靠的停止信号来自外部实证,而“设计和执行那个外部实证”的能力,恰恰是新手必须先用手工建立起来的东西。
四、你教新手直接上AI,等于让他用AI的“合理性”替代自己的“正确性”判断
培训分析里有一句话,可以作为整篇文章的落脚点:“能力训练的本质,是把人工智能当成放大器而非拐杖。”
放大器和拐杖的区别,不在于工具本身,在于使用者的判断力是否先于工具存在。一个已经知道CORS漏洞需要“能读到敏感数据”的人,用AI去扫CORS,AI报了一百个“反射Origin”,他会自己筛掉那些没有可读数据的端点。AI在这里是一个放大器——它帮他更快地覆盖,但他的判断力决定了哪些输出值得追。一个不知道CORS成立条件的人,用AI去扫CORS,AI报了一百个“反射Origin”,他会把一百个都当成候选,然后在验证上耗尽时间,或者更糟,把其中几个当成真的提交上去。
Refute-or-Promote论文的作者在讨论“为什么没有漏洞是被自主发现的”时,给出了一个精确的表述:“贡献在于外部的结构,用来过滤LLM Agent持续产生的假阳性。”
“外部的结构”是什么? 在PageBreak里,是确定性验证器。在一个成熟的安全研究员手里,是他在多年手工测试中建立起来的、对“什么算漏洞、什么不算”的模式识别。在一个新手的学习路径里,“先做一遍”就是那个外部结构的种子。你用手工做一遍,你会经历“我以为是漏洞→验证发现不是→我修正了判断标准”这个过程。这个过程重复足够多次之后,你手里就有了一个不依赖于AI的内部验证器。然后你再让AI进来,AI的输出会经过这个内部验证器的过滤。
如果你跳过“先做一遍”,直接让AI的输出成为你判断标准的来源,你就把“外部结构”的位置让给了AI。而AI在这个位置上的表现,已经被数据说得很清楚了:87.8%需要大量人工验证,26.5%超过四分之一不可用,十个审核者一致认可一个不存在的漏洞,一个Agent在一天内产出四个假阳性和一次越界。
写在最后
11月12日的培训分析,不是在说“AI不好”。它在说一个关于学习顺序的事实:判断力必须在工具之前建立,否则工具的输出会替代判断力,而不是服务于判断力。
“人先做一遍”的目的,不是让你手工挖到洞。是让你在手工的过程中,经历足够多次“我以为是,其实不是”的修正。 这些修正,是你未来过滤AI输出的唯一依据。PageBreak的误报率接近零,不是因为它的AI更聪明,是因为它的AI不被允许在没有外部实证的情况下上报任何东西。一个新手的判断力,就是他自己的“外部实证”能力。这个能力不能外包给一个被设计为“看起来合理”的系统。
下次你打开一个AI渗透工具之前,先问自己:这个东西报出来的“发现”,我有没有能力判断它是真的还是假的? 如果你没有,先关掉它,用手做一遍。你手工做的那一遍,不是“低效的重复劳动”。它是你未来所有AI辅助工作的验证基准。
严正声明
本文所述培训分析、调研数据及案例,基于企业IT培训2026年11月12日发布的《AI辅助渗透测试带来能力训练的转变》、Pentest-Tools.com 2026年6月对158名安全从业者的调查、Refute-or-Promote论文(arXiv:2604.19049)、Google PageBreak公开技术披露、以及2026年10月公开的自主Agent SRC实验记录。所有数据均来自公开来源,实际效果因模型配置、任务类型和评估方法而异。Agent越界尝试已在实验中被即时制止,未获取任何真实用户信息。本文内容仅用于安全培训方法论、AI安全治理和授权范围内的安全研究。任何利用所述技术或行为模式进行未授权攻击的行为均属违法。未授权扫描、测试、攻击行为违反《中华人民共和国网络安全法》第27条及《刑法》第285条,将承担法律责任。技术无罪,边界是法律。
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。








评论