文章总结： 本文系统梳理了从CTI报告中自动化抽取TTP的研究现状，归纳了NER、分类和生成式LLM三类方法。通过统一实验发现生成式方法在开放场景下并未稳定超越传统方法，指出当前瓶颈在于高质量标注数据缺乏、类别分布不平衡及标签语义歧义，强调未来需优化数据质量与任务定义，为相关研究提供了重要参考。 综合评分： 88 文章分类： 威胁情报,AI安全,安全运营

奥尔登堡大学 | SoK：从 CTI 报告中自动化抽取 TTP——我们真的做到这一步了吗？

原创

龙函城 龙函城

安全学术圈

2026年3月26日 18:31 四川

原文标题：SoK: Automated TTP Extraction from CTI Reports – Are We There Yet? 原文作者：Marvin Büchel, Tommaso Paladini, Stefano Longari, Michele Carminati, and others. 发表会议：34th USENIX Security Symposium 笔记作者：龙函城 主编：黄诚@安全学术圈

研究概述

随着网络威胁情报（Cyber Threat Intelligence, CTI）在威胁发现、攻击溯源和安全运营中的作用不断增强，安全分析工作已经从早期面向IoC的简单匹配，逐步扩展到对攻击者行为模式的深入理解。其中，战术、技术与过程（Tactics, Techniques, and Procedures, TTPs）能够更系统地描述攻击者的攻击目标、实施方式及具体操作过程，因此成为CTI分析中的关键内容。当前，MITRE ATT&CK已成为描述和组织TTP的事实标准框架，但大量CTI报告仍以非结构化自然语言形式存在，导致从报告中自动抽取并映射TTP仍然是一项复杂、耗时且高度依赖人工经验的任务。

近年来，围绕CTI报告自动化TTP抽取，研究界已经提出了大量基于自然语言处理的方法。总体来看，现有方法大致可以归纳为三类：NER方法、分类方法和生成式LLM方法。其中，NER 方法主要识别文本中显式出现的攻击技术表达，具有一定可解释性，但对隐式语义的处理能力有限；分类方法通常将TTP抽取建模为多标签分类问题，能够从句子整体语义出发判断对应的ATT&CK技术标签，但较为依赖高质量标注数据；生成式LLM方法则借助大语言模型的理解与生成能力，直接根据CTI文本生成相关技术编号或名称，形式更灵活，但也容易受到提示设计、输出不稳定和幻觉问题的影响。

不过，虽然相关研究数量不断增加，现有成果之间却往往难以进行公平比较。这是因为不同工作通常采用不同的数据集、不同的TTP本体、不同的任务设定和评测指标，很多方法还依赖私有或不可公开的CTI语料，从而使得研究社区很难准确判断：当前自动化TTP抽取到底发展到了什么水平，哪些技术路线真正有效，距离实际可用还有多远。针对这一问题，本文对该领域进行系统梳理与实验比较。作者首先系统归纳已有自动化TTP抽取工作，然后在统一设定下复现并比较不同技术路线，从而更公平地分析各类方法的优势、局限及适用场景。

图 1 自动化 TTP 抽取方法在开放场景下的性能比较

如图1所示，作者进一步在更贴近真实应用的开放场景下比较了不同方法在多种ATT&CK技术规模下的表现。实验结果表明，随着候选技术标签数量不断增多，不同方法的性能都会出现明显变化，且生成式方法并没有在真实设定下稳定优于传统分类方法。作者据此指出，当前自动化TTP抽取研究似乎已经遇到某种阶段性性能瓶颈：一方面，现有方法在受限条件下可以取得较好结果；但另一方面，一旦进入更开放、更复杂、更加接近实际应用的场景，其整体可靠性仍然不足，尚难支撑高精度、全覆盖的自动化ATT&CK标注任务。

基于系统化文献分析与统一实验比较，论文最终得出几个关键结论：第一，自动化TTP抽取目前还无法真正可靠地覆盖整个ATT&CK框架；第二，在更真实的设定下，传统NLP方法和较小的分类模型并未被现代生成式方法显著超越，某些情况下反而更加稳定；第三，制约该领域进一步发展的关键因素，可能并不只是模型结构本身，而更在于高质量标注数据的缺乏、类别分布不平衡以及ATT&CK技术标签之间天然存在的语义歧义和边界模糊。

贡献分析

• 贡献点1 ：系统梳理了CTI报告自动化TTP抽取领域的研究现状

  论文首先对现有的TTP自动化抽取研究进行了系统化整理，从文献层面对已有工作进行了归纳与分类，将相关研究概括为NER、Classification和Generative LLM三类主流技术路线，并进一步分析了各类方法的适用条件、优势与局限。

• 贡献点2 ：实现了多类代表性方法的统一技术复现与比较框架

  为了解决现有研究难以横向比较的问题，论文进一步对不同技术路线进行了统一实现。作者在一致的ATT&CK本体、统一的数据集和相同评测标准下，对NER、分类方法以及生成式方法进行了系统比较，相比单纯罗列已有工作，这种统一技术实现使论文具备了更强的实证分析价值。

• 贡献点2 ：揭示了自动化TTP抽取领域当前面临的核心瓶颈

  论文通过统一实验表明，现有自动化TTP抽取方法在更真实的开放场景下仍存在明显局限，生成式方法也未表现出对传统方法的稳定优势。作者进一步指出，限制该领域持续突破的关键因素，不仅在于模型本身的能力边界，更在于高质量标注数据的缺乏、类别分布不平衡以及ATT&CK技术标签之间普遍存在的语义歧义与边界模糊问题。

代码分析

代码链接：https://doi.org/10.5281/zenodo.15608555.

1. 使用类库分析：该项目整体属于典型的“多路线方法复现+统一评测”型研究代码框架。仓库主要分为 NER、classification、generation 三个子项目，分别对应论文中的三类主流方法，同时还包含数据集、文献爬取和对比实验等辅助模块。

2. 代码实现难度与工作量评估：从实现角度来看，该项目难度属于 中等偏上。它的难点不在于单一模型本身，而在于需要同时复现多条技术路线，并在统一的数据集、ATT&CK 本体和评测标准下进行比较。

3. 代码关键实现功能：结合代码结构与复现实验说明，其核心功能可概括为以下4个模块：

   （1）NER方法实现模块。该模块对应论文中的传统NLP路线，主要围绕文本预处理、术语归一化、规则匹配和ATT&CK技术映射来完成TTP抽取。

   （2）分类模型实现模块。该模块主要实现基于文本表示的TTP分类，包括有监督多标签分类和基于语义相似度的分类思路。其核心功能应包括文本编码、标签预测、多标签输出和开放场景下的技术匹配。

   （3）生成式LLM实验模块。该模块对应论文中的生成式方法路线，主要围绕大语言模型完成TTP抽取实验。除了基础提示推理外，这部分还应支持few-shot、RAG和监督微调等实验方式，并将模型输出进一步映射到ATT&CK技术名称。

   （4）数据集模块。从整体仓库结构来看，作者专门提供了统一的数据集组织部分，用于管理TRAM2、AnnoCTR、增强数据以及生成式模型训练所需的指令数据。

论文点评

此论文并没有停留在对已有工作的简单罗列上，而是通过统一实验，对CTI报告自动化TTP抽取领域的不同技术路线进行了较为系统的比较。作者发现，在封闭标签空间下，分类方法和生成式方法能够取得较好的结果；但在更接近真实应用的开放场景中，不同方法的性能都会明显下降，而且基于大语言模型的生成式方法并没有表现出对其他方法的稳定优势。相反，以NER为代表的传统NLP方法在某些更现实的设定下仍具有一定竞争力。这一结论对当前相关研究具有较强的参考价值。

这篇论文没有把问题简单归结为模型还不够强，而是进一步指出该领域当前真正的瓶颈更可能在于高质量标注数据不足、类别分布不平衡，以及ATT&CK技术标签之间存在天然的语义歧义和边界模糊。也就是说，自动化TTP抽取之所以难以持续突破，并不只是模型结构的问题，还与任务定义方式、标签体系设计以及数据覆盖范围密切相关。这使得论文不只是做了方法比较，也对该方向未来的研究重点提出了较清晰的判断。

不过，本文也存在一定局限。例如，作者所依赖的公开数据集本身仍不够理想，部分数据集覆盖的技术范围有限，部分数据集又存在一定标签噪声；同时，论文更强调不同技术路线的统一比较，因此未必完整纳入各原始方法中的特定优化策略。总体而言，本文不仅帮助读者更清楚地理解自动化TTP抽取领域的主要方法路线，也提醒研究者：这一方向未来的突破，可能不仅依赖更强的模型能力，也依赖更高质量的数据和更合理的任务定义。

论文文献

Büchel, Marvin, et al. “{SoK}: Automated {TTP} Extraction from {CTI} Reports–Are We There Yet?.” 34th USENIX security symposium (USENIX Security 25). 2025.

安全学术圈招募队友-ing 有兴趣加入学术圈的请联系 secdr#qq.com

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：安全学术圈 龙函城 龙函城《奥尔登堡大学 | SoK：从 CTI 报告中自动化抽取 TTP——我们真的做到这一步了吗？》