开源工具 | Spider：一款强大的浏览器模拟爬虫，自动提取前端源码

三石随笔录

2026年2月5日 09:46
北京

在小说阅读器读本章

去阅读

一键抓取网页资源，自动还原 Source Map 源代码

痛点

作为安全研究人员或前端开发者，你是否遇到过这些场景：

• 想分析某个网站的前端代码，但都是压缩混淆后的 JS
• 需要抓取 SPA 单页应用的动态资源，普通爬虫无能为力
• 想批量下载网站的所有静态资源，手动操作太繁琐

今天分享一款开源工具 Spider，完美解决以上问题。

Spider 是什么

Spider 是一款基于 Go 语言开发的浏览器模拟爬虫工具，核心特性：

1. 真实浏览器模拟
基于 Chrome DevTools Protocol，完整执行 JavaScript，抓取所有动态加载的资源。

2. Source Map 自动提取
自动检测并解析 .map 文件，还原压缩前的原始源代码，包括 React/Vue 组件、TypeScript 源文件等。

3. 灵活的配置选项
支持 Cookie、自定义 Header、代理、并发控制等，满足各种复杂场景。

快速开始

安装

git clone https://github.com/3stoneBrother/spider.git
cd spider
go build -o spider ./cmd/spider

基本使用

# 抓取单个网站
./spider -url https://example.com

# 使用代理（配合 Burp Suite）
./spider -url https://example.com -proxy http://127.0.0.1:8080

# 携带认证信息
./spider -url https://example.com -cookie \"session=xxx\" -header \"Authorization:Bearer token\"

# 批量抓取
./spider -file urls.txt -concurrency 3

命令行参数一览

参数	说明	示例
`-url`	目标 URL	`-url https://example.com`
`-file`	URL 列表文件	`-file urls.txt`
`-output`	输出目录	`-output ./site`
`-timeout`	超时时间(秒)	`-timeout 60`
`-cookie`	Cookie	`-cookie \"a=1; b=2\"`
`-header`	自定义 Header	`-header \"Auth:token\"`
`-proxy`	代理地址	`-proxy http://127.0.0.1:8080`
`-concurrency`	并发数	`-concurrency 5`
`-headless`	无头模式	`-headless=false`

输出结构

抓取完成后，资源按域名和路径自动组织：

output/
├── example.com/
│   ├── index.html
│   ├── static/
│   │   ├── js/
│   │   └── css/
│   └── src/              # Source Map 还原的源码
│       ├── components/
│       ├── pages/
│       └── utils/
├── cdn.example.com/
│   └── vendor.js
└── report.txt            # 抓取报告