文章总结： gospider是用Go语言编写的快速网络爬虫工具，具备网页抓取、sitemap.xml暴力解析、robots.txt解析、JavaScript链接生成验证、子域名查找、AWS-S3发现等功能，支持从WaybackMachine等平台获取URL并兼容Burp输入格式。文档强调该工具仅用于安全研究与学习，使用者需自行承担法律责任。项目地址为https://github.com/jaeles-project/gospider。 综合评分： 78 文章分类： 爬虫,WEB安全,安全工具,渗透测试,其他

工具 | gospider

浅安 浅安

浅安安全

2026年4月10日 07:50 广东

注：仅供安全研究与学习之用，若将工具做其他用途，由使用者承担全部法律及连带责任，作者及发布者不承担任何法律及连带责任。

0x00 简介

gospider是一款用Go语言编写的快速网络爬虫。

0x01 功能说明

• 快速网页抓取
• 暴力解析sitemap.xml
• 解析robots.txt文件
• 通过JavaScript文件生成链接并验证
• 链接查找
• 查找AWS-S3
• 查找子域名
• 从Wayback Machine、Common Crawl、Virus Total、Alien Vault获取URL
• 支持Grep输出格式
• 支持Burp输入
• 并行抓取多个网站
• 随机使用移动/网络User-Agent

0x02 项目地址

https://github.com/jaeles-project/gospider

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：浅安安全 浅安 浅安《工具 | gospider》