文章总结： 本文介绍Spider工具，一款基于Go的浏览器模拟爬虫。它利用HeadlessChrome执行动态JS，自动解析SourceMap以还原压缩混淆的前端源码。该工具支持代理与批量抓取，帮助安全人员高效收集前端资产、定位隐藏接口及分析加密逻辑，适用于红队测试与代码审计。 综合评分： 85 文章分类： 安全工具,爬虫,红队,WEB安全,代码审计
红队必备 | Spider：一款强大的浏览器模拟爬虫、全站JS代码一键提取、解密工具
三石随笔录 三石随笔录
NullError Sec
2026年2月5日 17:26 北京
#
一键抓取网页资源，自动还原 Source Map 源代码
痛点
作为安全研究人员或前端开发者，你是否遇到过这些场景：
- • 想分析某个网站的前端代码，但都是压缩混淆后的 JS
- • 需要抓取 SPA 单页应用的动态资源，普通爬虫无能为力
- • 想批量下载网站的所有静态资源，手动操作太繁琐
今天分享一款开源工具 Spider，完美解决以上问题。
Spider 是什么
Spider 是一款基于 Go 语言开发的浏览器模拟爬虫工具，核心特性：
1. 真实浏览器模拟 基于 Chrome DevTools Protocol，完整执行 JavaScript，抓取所有动态加载的资源。
2. Source Map 自动提取
自动检测并解析 .map 文件，还原压缩前的原始源代码，包括 React/Vue 组件、TypeScript 源文件等。
3. 灵活的配置选项 支持 Cookie、自定义 Header、代理、并发控制等，满足各种复杂场景。
快速开始
安装
git clone https://github.com/3stoneBrother/spider.git
cd spider
go build -o spider ./cmd/spider
基本使用
# 抓取单个网站
./spider -url https://example.com
# 使用代理（配合 Burp Suite）
./spider -url https://example.com -proxy http://127.0.0.1:8080
# 携带认证信息
./spider -url https://example.com -cookie "session=xxx" -header "Authorization:Bearer token"
# 批量抓取
./spider -file urls.txt -concurrency 3
命令行参数一览
| 参数 | 说明 | 示例 |
| — | — | — |
| -url | 目标 URL | -url https://example.com |
| -file | URL 列表文件 | -file urls.txt |
| -output | 输出目录 | -output ./site |
| -timeout | 超时时间(秒) | -timeout 60 |
| -cookie | Cookie | -cookie "a=1; b=2" |
| -header | 自定义 Header | -header "Auth:token" |
| -proxy | 代理地址 | -proxy http://127.0.0.1:8080 |
| -concurrency | 并发数 | -concurrency 5 |
| -headless | 无头模式 | -headless=false |
输出结构
抓取完成后，资源按域名和路径自动组织：
output/
├── example.com/
│ ├── index.html
│ ├── static/
│ │ ├── js/
│ │ └── css/
│ └── src/ # Source Map 还原的源码
│ ├── components/
│ ├── pages/
│ └── utils/
├── cdn.example.com/
│ └── vendor.js
└── report.txt # 抓取报告
使用场景
安全测试
- • 配合 Burp Suite 代理，自动触发所有 API 请求
- • 分析前端加密逻辑，定位敏感信息泄露
前端分析
- • 还原竞品网站的前端架构
- • 学习优秀项目的代码实现
资源备份
- • 批量下载网站静态资源
- • 保存网页完整快照
实战应用
-
快速爬取前端代码
-
.map文件自动提取并解密
-
-
输出文件，全量前端代码
-
-
前端资产收集终极形态：全量JS秒级提取，无遗漏无死角隐藏接口/密钥/签名逻辑再也跑不掉
-
技术栈
- • Go – 高性能、跨平台
- • chromedp – Chrome DevTools Protocol 的 Go 实现
- • Headless Chrome – 真实浏览器环境
项目地址
GitHub: https://github.com/3stoneBrother/spider
欢迎 Star 和 PR！
注意事项
- 1. 请遵守目标网站的 robots.txt 和使用条款
- 2. 仅用于合法的安全测试和学习研究
- 3. 使用代理功能时请确保有授权
觉得有用？点个在看，分享给更多人！
免责声明：
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。
任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。
本文转载自：NullError Sec 三石随笔录 三石随笔录《红队必备 | Spider：一款强大的浏览器模拟爬虫、全站JS代码一键提取、解密工具》
版权声明
本站仅做备份收录，仅供研究与教学参考之用。
读者将信息用于其他用途的，全部法律及连带责任由读者自行承担，本站不承担任何责任。
评论