2026-10-17 09:48:55 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

cover_image

每天处理几千条暗网消息，靠的就是这个框架——CIRCL把它开源了

原创

小智
小智

智榜样网络安全学习中心

2026年7月25日 14:00
湖南

在小说阅读器读本章

去阅读

开展威胁情报相关的事宜，最为叫人犯难的并非是寻觅不到数据的来源之处，而是数据实在是过于繁多。

每日之中，Telegram群组内有着数十条消息在不断出现。暗网论坛里有数百个帖子正被进行爬取操作。邮箱之内躺着数十封看起来比较可疑的。截图、PDF文件以及base64编码的payload相互混杂在一起。你明明清楚这里面隐藏着某些东西，可就是无法将它们串联起来。刚刚才处理完一个泄露的事件，紧接着另一个群里又有人在售卖你们公司的数据。

我曾经尝试过好多种不同的工具。其中有商业方面的威胁情报平台，也有自己编写的Python脚本。但是不是价格太贵，就是使用起来不太好用。去年的时候碰到了AIL Framework。原来CIRCL这个团队，就是那个搞MISP的团队，早就已经把这套东西给开源。而且这套东西都已经迭代快有十年。

先说句实在的，这工具不是给新手玩的

要是你刚刚开始接触网络安全这一块，还幻想着点那么几下图形化的界面就能够弄出报告来，那么AIL可能就不太适合你。AIL是为很多天天和非结构化数据打交道的分析师所准备的。这些分析师每一天都得去处理暗网的帖子、聊天记录、泄露的文件、可疑的图片相关的东西。

CIRCL是卢森堡之计算机应急响应中心。MISP威胁情报共享平台为它所研发出来的。在欧洲CERT圈子当中，属于标杆似的存在。AIL自2014年起开展开发工作，现今已达v6.7版本。有着超过3400次的提交情况，并且一直未曾停止过更新。到2026年4月还在更新。它可不是那种搞一下热度就不再理会的玩具性质的项目。

这个东西从根本的性质上来说是一个非结构化数据处理的流水线。对于明网、Tor暗网、I2P、Telegram、Discord、Matrix的聊天记录、上传的文件、外部威胁情报feed，它全都可以接收进来。随后开展抽取、解码、打标签、检测、关联这类操作，最终导出成为MISP格式以此和你的别的安全工具进行对接。

AIL架构图

第一次部署，我花了一个下午，但值了

官方给的部署命令很简单，Debian/Ubuntu系一条命令装依赖：

git clone https://github.com/ail-project/ail-framework.git
cd ail-framework
git submodule update --init --recursive
./installing_deps.sh
cd bin
./LAUNCH.sh -l

不过，在实际的生产环境当中运行并不是那么的容易。它得依赖于Redis、Elasticsearch、许许多多的Python库，还有那可选的Lacus爬虫组件、OCR引擎。建议最少给8G的内存。对于磁盘的话，那就得看你爬取多少数据，如果是爬取暗网的数据，那至少得1T才能够起步才行。

首次进行启动操作之后去访问http://localhost:7000这个网址。默认的账号以及密码是admin/admin。进入到里面之后做的第一件事情就是更改密码。界面不是十分的新颖时尚，但是挺实用的。所有的功能都在左侧的菜单里面，不用花费很长的时间去寻找。

主界面概览

我日常最常用的几个功能，解决真问题

1. 暗网持续监控，这是我用得最多的

许多开源的爬虫仅仅能够运行一次，一旦爬取完毕就宣告结束。而AIL的爬虫则是持续进行的。当你添加一个.onion地址或者论坛页面的时候，它会依照一定的时间去进行爬取操作。要是有新的内容出现就会自动进行处理。要是你拥有论坛账号的话，还支持带着认证去进行爬取。把浏览器的cookie导入进去之后，它就可以借助你的登录状态去爬取很多需要登录之后才能够查看的板块。

这是非常重要的。当下稍微大一些的暗网论坛都必须要进行注册并且登录，要是不登录的话，是什么东西都没有办法看到的。以往自己编写爬虫去处理cookie以及会话保持是特别麻烦的。AIL直接重复使用浏览器的localStorage和session，你在Chrome里面登录完毕之后把cookie导给它就可以了。

带认证爬取配置

明网、Tor以及I2P都是能够予以支持的。当下v6.7版本又增添了I2P爬取的功能。之前仅仅只能够爬取Tor，现在所覆盖的范围变得更为全面。

2. 自动解码和信息提取，省了我80%的时间

爬取下来的数据那可是各种各样、五花八门。有那种base64编码的二进制形式，有十六进制的字符串，有镶嵌在图片里边的二维码，有截图当中的文字，还有PDF文件里边的元数据等等……以前我得一个一个地手动去进行解码，眼睛都给累坏。

AIL自动做这些事：

自动识别并解码base64、hex等编码内容
提取URL、域名、邮箱、手机号、API密钥、IBAN银行账号
识别比特币地址、私钥等加密货币信息
OCR识别图片和截图里的文字
解析二维码和条形码，提取里面嵌的链接或文本
PDF元数据提取，甚至还能做PDF内容翻译

提取和解码文件

最让我感到惊喜的是图片描述这样的功能。它整合了AI视觉方面的模型。它可以自动地给爬取下来的截图以及图片生成文字方面的描述。这样子你在搜索关键词的时候，就连图片的内容都能够搜索得到。打个比方来说吧，要是有人在暗网发布了你们公司后台的截图，你搜索公司名字就能够把这张图给找出来，都不用自己去翻那几千张截图。

3. YARA规则和Retro Hunt，找历史数据里的东西

关键词以及正则匹配属于基础的操作，AIL肯定是予以支持的。而真正让我无法舍弃的是YARA规则检测还有回溯狩猎（Retro Hunt）。

你是可以去编写YARA规则来对新进来的数据进行实时检测的。并且更为有用的是，当你新撰写一条YARA规则的时候，能够对历史数据开展回溯扫描，把之前所遗漏掉的匹配内容统统给找出来。上个月我们公司刚有一个内部密钥的格式，我编写了一条YARA规则，对历史半年的数据进行了一番运行操作，还真就找出了三个月前在某个Telegram群里泄露的一个测试密钥，当时没有发现，现在给补上。

系统当中存在着YARA编辑器。不需要先在本地编写好之后再进行上传，直接就在界面里面进行修改、开展测试，然后就可以马上生效。

YARA编辑器

除了YARA，还支持：

单词追踪：监控特定关键词出现
词组追踪：多个词同时出现才告警
正则追踪：写正则匹配复杂模式
仿冒检测：自动检测跟你们公司域名相似的typo域名，有人搞钓鱼域名第一时间发现

追踪器列表

告警具备对Webhook以及的支持功能。要是一旦成功匹配上了相关条件，便会直接将它推送到企业微信或者是SIEM系统当中。如此一来就不需要每天守在界面那里不断地进行刷新操作。

告警设置

4. 关联分析，这才是情报分析的核心

单个的信息其实并没有太大的作用，必须得把很多单个的信息给串联起来才可以。我个人认为 AIL 的关联引擎是非常关键的一个部分。

它将会自动地去关联所有被抽取出来的对象。比如说同一个域名会出现在哪些个帖子里边，同一个用户名会在哪些个聊天群里边出现过，同一个PGP密钥签署过哪些个泄露文件，同一个SSH密钥在哪些个地方出现过，加密货币地址之间存不存在转账关联等等情况。所有这样的一些关系都自动地给构建好，你点一下一个对象就能够看到整幅的关系图。

关联图可视化

我来给大家讲述一个真实的事例。在上个月的时候，我们察觉到有人在暗网售卖我们客户的数据，最开始仅仅是一个帖子。经过关联操作，我发现这个帖子里留下的Telegram用户名，在三天前的时候曾经在另一个群里发布过一个比特币地址用来收取定金，而那个比特币地址之前还接收过另外三笔款项，这对应着另外三个公司的数据泄露事件。又通过PGP密钥进行关联，确定了这个攻击者是之前的一个已经离职的外包人员。整个过程花费还不到半小时，如果我自己去各个群里翻阅记录的话，或许得花费一周的时间。

关联图具备交互的特性，你可以在关联图上面进行点点戳戳的操作，顺着去查找能够钻进到原始内容之中，这是只有商业威胁情报平台才会拥有的功能，而AIL却免费为你提供这样的功能。

关联图详情

5. 调查工作流，不用拿个小本本记线索

进行情报分析的时候经常会遭遇到这样的状况：你寻找到一个线索，接着顺着这个线索能够找出好几个相关的对象。这时候就需要去标记哪些是已经确认了的，哪些是有待核实的，哪些是属于误报的情况。以往我用Excel来记录，那真的是杂乱无章的，过了一个星期再去看自己都没有办法看得懂。

AIL存在Investigation工作区域。你可以将域名、用户名、文件、帖子这类相关的对象拖拽到一个调查之中。在这个调查里面添加注释、打上标签、记录笔记，对整个调查的进程进行跟踪。当调查完成之后，一键导出成为MISP事件，直接和团队进行分享。

调查工作区

6. 跟MISP无缝对接，毕竟是同一个团队做的

要是你正在运用MISP来开展威胁情报的共享工作，那么AIL就会是很不错的搭配。当发现了可疑的事件、IOC以及攻击者信息相关的情况时，只需点一下就能够把它们导出成为MISP对象，直接就可以发布到MISP实例当中，都不用手动去进行复制粘贴。而且还能够去配置自动导出的功能，让带有特定标签的事件自动地同步到MISP那里去。

MISP导出

标签系统直接采用MISP Galaxy以及MISP Taxonomies，不用自己去构建一套分类的体系，这样就自然地和现有的威胁情报体系相互兼容。

标签系统

标签浏览

几个不太满意的地方，也说说

没有完美的工具，AIL也有几个我想吐槽的点：

其一，部署真的不简单，依赖组件多，第一次搭建容易踩坑。文档虽全但分散，新手得看很久。建议先用Docker跑熟再上生产环境。

第二点，资源消耗大。每天爬二十几个暗网站点+十几个Telegram群，16G内存+2T磁盘才刚好够，小机器跑不起来。

AI图片描述需自己配置大模型API密钥，不自带模型，要接入OpenAI或本地部署，额外配置步骤不能省。

UI是典型安全工具风格，功能优先别指望审美，和商业TI平台比差距大，但分析师够用。

谁适合用AIL？

我个人觉得这几类人可以试试：

企业CSIRT/SOC团队的威胁情报分析师，需要监控暗网和聊天群里的公司数据泄露
执法部门的网络犯罪调查人员，需要处理大量非结构化线索
安全厂商的威胁研究团队，需要大规模爬取和分析威胁数据源
学术研究人员，做暗网、网络犯罪、信息泄露相关研究

倘若你是一个在个人安全领域方面的爱好者，想要去学习威胁情报分析，那也可以试着去做一下，但得做好花费时间去折腾的准备。

最后说两句

当下各处都在鼓吹AI。什么AI全自动威胁狩猎大模型能够一键去分析情报，可实际上那噱头比实际起的作用可要大得多。我并非不承认大模型是有用的，但是真正在生产环境中运用的情报平台，它的核心是稳定的数据处理流水线、靠谱的关联能力以及跟现有体系的无缝对接。这些AI是都做到了。而且还是一群真正做应急响应的人，依照实际analyst工作流所打造出来的功能，可不是坐在办公室里拍脑袋想出来的。

它并不酷炫，它不会为你绘制漂亮的3D攻击地图，但是它能够老老实实地去做每天最为让人厌烦的很多脏活累活，比如说解码、提取、关联、检索相关的，让你将时间花费在真正需要人去进行分析判断的地方，这也就足够了。

请注意，必须合法授权！未经授权爬取暗网、处理泄露数据是违法的，一旦陷进去没人救得了你。

项目地址：https://github.com/ail-project/ail-framework

要是觉得有作用的话，那就给CIRCL团队点一个星星。他们一直在维护着一个开源的项目，已经长达十年之久，真的是挺不容易的。