2026-10-17 22:43:27 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

计算机安全应用大会2025 IEEE ACSAC论文点评丨人机协同标注：LLM辅助IoC提取的新范式

原创

冯文英
冯文英

信息网络安全杂志

2026年10月12日 17:03
上海

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

一、引子

当安全分析师每天面对海量的威胁报告，手工提取入侵指标（IoC）已成为一场与时间的赛跑。更严峻的是，自动化工具生成的Ground Truth（真实标签）质量参差不齐——正则表达式误报率高、VirusTotal覆盖不全、AlienVault的召回率不足30%。在这一背景下，Georgia Tech与University of Georgia联合团队的工作显得尤为及时：他们将大语言模型（LLM）与人工验证深度耦合，提出了首个面向IoC提取的人机协同（HITL）系统LANCE，并构建了目前最大规模的开源专家验证数据集PRISM。

二、论文速览

现有IoC提取方法面临的核心瓶颈在于Ground Truth的构建。作者团队对18篇代表性工作进行了系统梳理，发现手工标注虽精准但无法扩展，而自动化方法（如基于正则表达式、VirusTotal验证、威胁情报平台聚合等）普遍存在上下文理解不足的问题。以AlienVault为例，其在URL类型上的召回率仅为25%，且存在大量与报告文本无关的推断指标。

为此，作者提出了LANCE（LLM-Assisted Notation and Classification Engine），一个融合规则提取、LLM上下文感知标注与人工验证的三阶段流水线。具体而言，系统首先利用正则表达式实现高召回率的候选指标提取；随后通过精心设计的Prompt工程驱动LLM（ChatGPT-4o）对每个指标进行IoC/Non-IoC分类，并附上下文解释；最终由分析师在定制UI中对标注结果进行快速校验。实验表明，LANCE在全部指标类型上的F1分数达到97.6%，显著优于VirusTotal和AlienVault等方法。

更重要的是，基于LANCE的辅助标注，初级分析师的标注速度提升了43%，同时在Domain和URL等复杂类型上的准确率得到改善。团队进一步开源了包含1,791个专家验证指标的PRISM数据集，填补了该领域长期缺乏高质量公开基准的空白。

三、深度解剖

从范式创新角度看，本文的最大贡献在于将HITL范式系统性地引入网络安全数据标注领域。此前，HITL虽在医疗影像、自然语言处理等任务中得到广泛应用，但在威胁情报这一高度专业化、上下文依赖极强的场景中，LLM与人工验证如何有效协同仍是一个开放问题。LANCE的设计给出了一个清晰的答案：LLM负责\"初筛与解释\"，将分析师的角色从\"逐行阅读者\"转变为\"判断校验者\"，从而兼顾效率与精度。

从技术分水岭的角度看，本文的Prompt工程策略和跨模型泛化实验值得特别关注。作者并未简单地将原始报告抛给LLM，而是采用了按指标类型分批处理、滚动窗口分段（8,000字符窗口、50%重叠）、投票融合等工程手段。这些设计使得LANCE的Pipeline可无缝迁移至Llama、Gemini、Gemma等多个主流LLM，且F1分数均保持在90%以上。这意味着该方案不依赖于单一模型的能力，具有良好的部署灵活性和长期可用性。

此外，PRISM数据集的公开发布具有深远的社区价值。长期以来，IoC提取领域因数据集不公开、标注流程不透明，导致方法间难以公平比较、研究结果难以复现。PRISM的出现为后续研究提供了一个可靠的\"标尺\"。

四、局限与展望

尽管成果显著，本文仍存在值得进一步探索的空间。首先，当前评估仅覆盖IP、Domain、URL和Hash四类指标，而Registry Key、文件路径、邮箱地址等同样重要的IoC类型尚未纳入。其次，标注过程中关于\"被攻陷的合法域名是否应标记为IoC\"的争议暴露了不同下游任务对IoC定义的需求差异——用于实时阻断的场景与用于归因分析的场景可能需要不同的标注标准。最后，实验中的分析师团队规模较小（5名初级+1名高级），更大规模、跨组织的标注一致性有待验证。

未来方向方面，一个值得跟进的研究点是动态IoC标注：随着时间推移，某些域名的恶意状态会发生变化（如被清理后恢复合法），如何构建时序感知的IoC数据集将具有重要的实用价值。此外，将LANCE与更广泛的CTI（Cyber Threat Intelligence）提取任务（如攻击模式提取、知识图谱构建）进行深度集成，也是一条充满潜力的研究路径。

五、写在最后

这篇论文对中国的网络安全学术界和产业界至少有两点启示。其一，在威胁情报这一与国际研究前沿紧密接轨的领域，高质量数据基础设施的建设仍是薄弱环节。PRISM的成功经验表明，通过LLM辅助+专家验证的混合模式，完全可以以可控成本构建大规模、可信赖的专业数据集。其二，LLM在安全领域的应用不应追求\"完全自动化\"的幻象，而应聚焦于\"人机协同\"的务实路径——让模型做它擅长的模式识别与初步筛选，让专家专注于它需要判断力与领域知识的决策环节。

正如本文所展示的：在IoC提取这条赛道上，关键不在于LLM是否比人类更聪明，而在于我们是否设计出让两者各尽所能的协作框架。这或许是AI赋能安全领域最值得探索的方向。

点评专家：冯文英助理研究员

专家单位：鹏城实验室

原文标题：Revealing the True Indicators: Understanding and Improving IoC Extraction From Threat Reports

原文作者：Evangelos Froudakis; Athanasios Avgetidis; Sean Tyler Frankum; Roberto Perdisci; Manos Antonakakis; Angelos D. Keromytis

期刊/会议：ACSAC 2025 (2025 IEEE Annual Computer Security Applications Conference )

DOI：10.1109/ACSAC67867.2025.00052

版权与来源声明：本文依据《中华人民共和国著作权法》第二十四条之规定，为介绍、评选之目的，在此适当引用。原文版权归原作者所有。