开源情报采集新法，用AI浏览器插件与OpenAlex、Apify接口批量抓取公开数据

子午猫
子午猫

网络侦查研究院

2026年10月21日 06:34
湖南

去阅读

一、两条路径，小规模用浏览器插件、大规模用API

面向科研与开源情报采集，文章提出两类低门槛方法：其一用 ChatGPT 浏览器插件或 Codex 的 Computer Use，让智能体像人一样打开网页、滚动、展开评论并整理成表，\"所见即所得\"；其二在数据量达数万条时改调 API，按固定格式直接取回结构化数据，速度与稳定性远胜逐页翻抄。

二、小红书、B站评论，插件式采集无需写爬虫

采集小红书笔记公开评论，只需提示\"保留评论内容、发布时间、点赞数和回复数，整理成Excel并去重\"，智能体自动滚动展开；B站视频评论同理，并可区分一级评论与回复。关键技巧是让智能体控制爬取速度、模拟人工浏览，规避站点反爬监测。

三、OpenAlex与Apify，批量拉取论文与社媒数据

调用 OpenAlex API 可采集 2020年至今与\"generative AI education\"相关论文，保留标题、作者、DOI、被引次数并按 DOI 去重；调用 Apify 可抓取公开内容，如某账号 过去7天发布的公开帖文及互动数据。配置文档可直接交给智能体阅读完成接入。

情报价值：该思路本质是\"开源情报（OSINT）采集的Agent化\"——把网页浏览与API调用交给智能体，把人的价值收束为\"知道数据在哪、要什么字段\"。对情报工作启示：合规公开数据源（学术库、社媒）的大规模采集门槛已被大幅拉低，建议优先用官方API而非模拟浏览器，兼顾效率与稳定性。

来源：兔老师Roxy（2026-09-22，北京）