Web 安全扫描中的站点重复识别与深扫收敛策略

原创

SimonLeeSec
SimonLeeSec

SimonSec

2026年6月17日 17:53
上海

在小说阅读器读本章

去阅读

Web 安全扫描中的站点重复识别与深扫收敛策略

当你的扫描器把同一个业务扫了五遍，问题不在扫描器，而在入口判定。

背景

在互联网资产测绘和安全扫描场景中，一个常见的痛点是：扫描任务的数量随着资产规模线性增长，但其中相当一部分是重复的。同一套业务系统可能通过多个端口、多个子域名、甚至不同的域名暴露出来，而扫描器对每个入口一视同仁，逐个执行完整的深度扫描流程。

这篇文章总结了一套在实际工程中验证过的站点重复识别与深扫收敛策略，核心思路是：在深度扫描之前增加一层判定，识别出哪些入口是重复的或无价值的，只对真正独立的站点执行深扫。

一、问题现象

在典型的资产测绘链路中，流程大致如下：

1. 发现 IP、域名及对应开放端口
2. 对这些入口做 Web 可达性确认
3. 将可访问入口沉淀为站点结果
4. 站点结果全量进入深扫（URL 抓取、目录爆破、漏洞扫描等）

这套链路的核心特点是：只判断\"能不能访问\"，不判断\"是不是同一套站点\"。只要一个入口能返回 HTTP 响应，就视为可访问，就保留为站点结果并继续深扫。

这会导致以下几类典型重复：

一旦这些入口被分别识别为独立站点，后续深扫就会把它们当作独立目标逐个处理，即使最终返回的是同一套页面内容。

二、影响分析

重复站点进入深扫带来的直接后果：

• 扫描成本重复放大：任务耗时、资源占用和排队压力成倍上升
• 噪声页面被反复深扫：错误页、拦截页、默认页进入深扫，产生大量脏数据
• 简单合并带来漏扫风险：过于激进的合并逻辑可能把本该区分的不同业务入口合并掉

从资产观测角度看，记录\"哪些入口曾经有响应\"是有价值的；但从深扫执行角度看，更关键的问题是\"哪些入口值得作为独立站点继续扫描\"。

核心矛盾：缺少一套统一的重复识别与深扫收敛机制，导致有效资产、重复入口和噪声页面在进入深扫前没有被分层处理。

三、设计原则

在设计收敛策略时，有三条基本原则：

1. 资产口径不变：所有入口仍然保留，用于资产观测、审计和追溯
2. 执行口径收敛：优化的是\"是否继续深扫\"，不是\"是否保留这条资产\"
3. 收敛策略从严：只有能明确证明重复，或能明确判断为噪声页面时，才做自动收敛；其他情况宁可保留

简言之：不是\"少发现资产\"，而是\"少做无效深扫\"。

收敛边界

为控制误伤风险，收敛必须满足以下条件之一才允许执行：

• 标准跳转：HTTP 到 HTTPS 的 3xx 跳转，且最终落点可明确解析
• 噪声特征明确：返回内容为统一网关错误页、WAF 拦截页、CDN 默认页等
• 等价验证一致：基于 HTTP 响应数据的多维度比对结果一致

以下情况不满足收敛条件，默认保留独立深扫：

• 仅页面相似——可能是同模板的不同业务
• 仅同属一个主域名——子域名可能指向完全不同的应用
• 仅解析到同一 IP——同一服务器可承载多个独立业务
• IP 直连入口——即使与域名入口内容相同，IP 直连可能绕过虚拟主机路由到不同后端

四、三层递进策略

在站点进入深扫之前，增加一层统一判定，决定哪些入口继续深扫、哪些不再重复执行。策略分三层，按顺序递进：

第一层：噪声过滤

对统一网关错误页、WAF 拦截页、CDN 默认页、反向代理错误页等噪声页面，资产继续保留，但不再进入后续深扫。

这类页面只能说明\"入口存在且可达\"，不代表真实业务站点，对它们做深扫没有收益，只会产生脏数据。

补充口径：

• 明确维护页：直接视为噪声
• 默认欢迎页（如 Welcome to nginx!、Tomcat 默认页、Apache 测试页）：不直接视为强噪声，而是降级为低信息量站点；若在后续等价验证中与其他入口语义完全一致，允许执行层收敛

第二层：跳转合并

对 HTTP 只是跳转到 HTTPS 的场景，且跳转关系清晰、最终落点明确，只保留真正承载业务的一侧继续深扫，跳转源不再重复执行。

第三层：等价验证

对同一域名下多端口、同一主域名下不同子域名、或不同主域名但同 IP 的入口，做等价验证。只保留一个代表入口继续深扫，其余入口保留记录但不重复执行。

等价验证不依赖独立的指纹测绘能力，而是基于链路已经拿到的 HTTP 响应数据做多维度比对。比对维度覆盖五个信号，全部一致才认定为同一站点：

判定逻辑：

• 五个维度全部一致 → 认定为同一站点，只保留一个代表入口深扫
• 关键路径访问结果不一致 → 存在路由或权限差异，按不同站点保留
• 其他维度不一致 → 后端不是同一套系统或访问面不同，按不同站点保留

结构化响应的语义归一化

对于 XML/JSON 这类结构化壳页，不能直接使用原始正文哈希做比对。需要做\"语义归一化\"：优先抽取稳定字段（如 code、message、resource、success、data），忽略动态字段（如 RequestId、TraceId、ServerTime、timestamp），避免同一类统一错误页因请求级随机值不同而被误判为不同站点。

五、各场景口径总结

代表入口选择

合并后保留哪个入口继续深扫，遵循\"业务优先、稳定优先\"：

• 优先保留真正承载业务内容的入口，而非纯跳转入口
• 优先保留更标准、更稳定的入口（如 HTTPS 优先于 HTTP）
• 优先保留更接近实际对外主入口的域名入口

六、判定流程

七、预期收益

• 降低重复扫描成本：减少任务时长、资源占用和排队压力
• 提升结果质量：减少噪声页面进入深扫，降低脏数据和重复数据
• 控制漏扫风险：保守的收敛策略避免误合并，保证真实业务入口不被遗漏
• 统一规则基础：为后续站点治理、入口治理和扫描策略优化打下基础

总结

站点重复识别与深扫收敛的核心思路可以概括为一句话：在\"可达\"和\"值得深扫\"之间插入一层判定。

三层递进策略——噪声过滤、跳转合并、等价验证——分别处理\"无价值页面\"、\"冗余跳转\"和\"等价入口\"三类问题。每一层的判定都尽量保守，宁可多扫也不漏扫，但在能明确证明重复的场景下果断收敛。

这套策略的价值不仅在于节省扫描资源，更在于让扫描结果更干净、更聚焦——安全团队看到的不再是同一套业务的五份重复报告，而是真正需要关注的独立资产。

关注公众号，回复【站点去重】获取演示脚本