AI 告警太多，人类已经没空看了该怎么办?
原创
趋势洞察
趋势洞察
赛博57库
2026年10月15日 05:00
广东
在小说阅读器读本章
去阅读
在公众号小说中沉浸阅读
| AI 安全 AI 能解释每条告警，但人类已经没空看了 人机监督 · 告警疲劳 · 审核预算 · SOC · 认知安全 |
| 前言｜ 2026 年 10 月的一篇新论文提出了一个容易被忽略的问题：AI 可以不断生成告警、摘要和推理轨迹，但负责复核的人并没有因此获得更多注意力。本文拆解它的“环境感知监督”架构，并把潜艇值班场景翻译成普通 SOC 可执行的审核预算、四级处置和五问检查表。需要先说明：这是一套参考架构，关键预测能力仍待实证。 |
01 · 人在回路，可能根本不在状态
凌晨两点，SOC 同时处理三件事：一台关键服务器正在外联陌生地址，业务团队催问封禁影响，交接班还有二十分钟。AI 助手没有沉默。它为每一条告警生成摘要、上下文、处置建议，甚至一段看起来条理清楚的推理过程。
屏幕上确实有一个“人工确认”按钮。问题是，值班人员此刻还有多少能力完成这次确认？
这正是论文 Connectedness, Cognitive Load, and Human-AI Oversight in Cyber Operations 追问的核心。传统告警分流主要看事件侧信号：风险高不高、模型置信度如何、不确定性多大。作者认为，这只算了一半。另一半是审核者的认知容量，而且它会随环境剧烈变化。
论文选择潜艇作为极端场景：一名值班人员既要处理战术任务，又要面对近千节点汇总而来的网络安全状态。浅水航行、目标密集、任务节奏升高时，人的负荷最大；偏偏这也是安全事件后果更严重、外部支援更难获得的时候。
它揭开的并不是一个只属于潜艇的问题。把“潜艇”换成正在处置重大事件的 SOC、灾害现场的应急中心、无法随时连上专家的工业控制站，矛盾完全一样：系统标注了人在回路，不等于人此刻具备监督能力。
02 · AI 没有消灭告警疲劳，只是生产了更长的告警
传统安全平台生产告警。生成式 AI 接入之后，又为告警附加解释、推理轨迹和处置建议。这些内容可能提高理解效率，但它们本身也需要阅读、核验和与原始证据对照。
于是，一个看似改善可解释性的设计，可能悄悄增加审核成本：以前分析员要判断一条告警，现在还要判断 AI 对这条告警的解释是否忠实、证据是否充分、建议是否超出授权范围。
真实 SOC 研究早已表明，问题不只是“误报太多”。USENIX Security 2022 的研究先调查 20 名 SOC 从业者，再访谈 21 名从业者。研究发现，许多被笼统称为误报的事件，其实是检测规则正确触发，却能被正常业务行为解释的告警。分析员仍然必须完成耗时的人工验证，重复过程会导致倦怠和脱敏。
另一项 2025 年发表的纵向研究分析了 45 名 SOC 分析员在十个月内提交的 3,090 条 LLM 查询。分析员主要让模型解释命令、理解低层遥测、整理沟通文本，而不是直接替他们做高风险决定。作者据此建议：面向调查任务，AI 应优先呈现证据，而不是只给一个建议。
这两项观察拼在一起，边界就很清楚：AI 最适合减少查资料和切换上下文的成本，但如果它把每条告警都扩写成长篇“推理”，人的审核能力反而会成为新的队列瓶颈。
一线团队至少要分开统计三个量：
• 模型一天生成多少条告警；
• 每条告警附带多少需要核验的证据；
• 本班次真正能完成多少次有质量的人工审核。
第三个数字，往往最容易被仪表盘隐去。
03 · 监督失效有两个方向
论文把人机监督的失败放在一条轴的两端。
一端是低依赖。系统长期“狼来了”，分析员逐渐形成“这类告警都是噪声”的经验，真实事件到来时也不再认真看。
另一端是过度依赖。系统长期自动处理，分析员对模型形成稳定信任，在高负荷时机械点击批准。按钮仍由人点击，判断却已经外包。
作者进一步用五个认知安全维度解释这种退化：
| 维度 | 高负荷下的失败 | SOC 中可能出现的信号 |
| 注意 | 视野收窄，只看最显眼的事件 | 边缘告警长期无人展开 |
| 信念 | “这个告警源都是噪声”的判断固化 | 同类事件被批量关闭 |
| 记忆 | 无法同时保持主机、身份与时间线 | 跨子网的中风险信号拼不起来 |
| 判断 | 失去区分配置问题与真实入侵的余量 | 处置只剩模板化结论 |
| 自主性 | 放弃系统或无脑服从系统 | 忽略率、无修改批准率同时上升 |
这也是为什么只考核“平均处置时间”很危险。处理得越来越快，可能代表流程更成熟，也可能代表分析员已经不再核验。
更合理的监督健康指标应同时观察：告警展开率、证据回看率、分析员修改 AI 结论的比例、被自动处理事件的抽查差错率，以及同类告警在不同班次的判断一致性。
04 · 同时看风险和人
论文提出的“环境感知监督引擎”并不复杂。它给现有 AI 分析能力外面再加一层分配器，同时观察事件风险和人工容量。
| 变量 | 论文中的含义 | 普通 SOC 可以怎样理解 |
R(τ) |
单条推理轨迹的风险 | 资产重要性、行为风险、模型不确定性、证据质量 |
L(t) |
环境产生的认知负荷 | 并发事件、任务切换、交接和重大处置状态 |
C(t) |
当前人工审核预算 | 本班次能够投入深度审核的真实容量 |
E(t) |
当前网络暴露 | 外部接口、远程访问、变更窗口和关键攻击面 |
B(t) |
能否连接更大的协作集体 | 二线专家、厂商与应急团队此刻是否可达 |
其中最容易做错的一步，是把认知负荷 L(t) 和网络暴露 E(t) 混成一个“总体危险值”。二者可能完全相反。
例行对外通信窗口可能是低负荷、高暴露：人手充足，但外部接口活动增加。这时应降低高风险事件的升级门槛。
一次与网络无关的重大现场处置可能是高负荷、低暴露：人员注意力被占满，但外部攻击面没有增加。这时应延后低价值通知，不应把所有提示继续压向值班人员。
当二者同时升高，正确动作也不是“全部静音”或“全部弹窗”，而是压缩低价值噪声，把最高风险事件以更短、更证据化的形式交给人，并在协作边界允许时立即升级。
05 · 四种动作，比“自动或人工”更细
很多自动化策略只有两个选项：机器处理，或者转给人。论文把它拆成四级：
• d0：自动处理并完整留痕；
• d1：只让人抽查风险最高的关键步骤；
• d2：人工审核完整证据链；
• d3：升级给外部专家或更大的协作团队。
这四级动作的价值，是允许系统把“需要人的注意”与“需要人读完整篇解释”分开。
例如，过期特征库、磁盘空间不足一类可确认的配置通知，可以自动归档，留待维护窗口处理。一条罕见外联如果证据链很长，可以先突出最关键的域名、进程树和时间关系，让分析员决定是否展开。涉及关键资产持久化迹象的事件，则不应因为值班人员很忙就降低优先级；系统应进入完整审核或外部升级。
审核容量下降时，系统应该提高的是低价值事件进入人工队列的门槛，而不是抬高所有事件的门槛。论文特意把负荷和暴露分开，就是为了避免“人越忙，真正的攻击越容易被隐藏”这个反直觉后果。
06 · 从潜艇迁移到普通 SOC，哪些能用，哪些不能照搬
论文最醒目的提法是：把平台当作“操作员的传感器”。它不要求佩戴手环、采集脑电或追踪眼球，而是使用平台已经产生的环境与连接遥测推断工作负荷。
这个思路可以迁移，但潜艇里的具体规则不能照搬。深度、目标密度、舱口状态属于特定作业环境；企业 SOC 更合适的候选信号可能包括：
• 当前重大事件数量及其处置阶段；
• 同一分析员正在切换的调查上下文数量；
• 值班、请假和二线支援的实际可用人数；
• 交接班、变更窗口和业务高峰状态；
• 队列中最老事件的等待时间；
• 需要跨团队协调的任务数量。
这里有一条重要红线：不要直接把原始告警量当作人的负荷。 告警量既可能与攻击相关，也可能被攻击者故意制造。若它能直接推高“自动隐藏比例”，攻击者就获得了一条用噪声改变审核策略的通道。
同样，负荷指标应该用于团队级资源调度，而不是员工绩效评分。系统可以表达“当前班次只能承担两次完整审核”，不应武断地表达“某位分析员能力下降”。后者不仅涉及隐私和公平，还会诱导员工为了评分隐藏真实负荷。
真正上线前，团队需要用历史数据回放：环境信号是否真的能预测审核耗时、遗漏率和判断分歧？如果不能，这个模型就不应获得隐藏告警的权力。
07 · 这套系统本身也可能成为新风险
环境感知并不会自动带来更安全的监督。它至少引入四类新风险。
第一，自动隐藏风险。 系统认为“低价值”的事件可能是攻击链早期信号。所有自动处理记录必须保留原始证据、模型版本、路由理由和处置结果，事后能够还原“为什么当时没有让人看”。
第二，指标操纵风险。 攻击者可能制造大量低成本事件，影响队列状态或负荷估算。用于估算人员容量的信号，应尽量来自攻击者难以直接控制的作业环境，并与事件风险模型隔离。
第三，能力退化风险。 人长期只看机器挑出的少数事件，会失去对总体基线和边缘异常的感觉。论文提出定期强制抽样：即使模型判断无需人工，也随机抽取一部分事件复核，以保持技能并测量自动处理的实际差错率。
第四，监控与公平风险。 不同人员的经验、工作方式和基线不同。同一套负荷规则可能系统性地低估某些班次或岗位。团队需要允许申诉、修正规则，并禁止把认知负荷分数直接用于个人排名。
论文给出的治理抓手很朴素，却很关键：隐藏事件的审计日志，加上不可被模型取消的强制抽样。 没有这两项，动态监督很容易退化成一个无法检查的自动化闸门。
08 · 真正的“人在回路”是一份容量预算
这篇论文最有价值的地方，不是证明了一套更准确的负荷预测算法——它并没有完成这项验证；而是拆穿了一个长期存在的假设：只要高风险事件被路由给人，监督就已经成立。
真实世界里，人工监督不是布尔开关，而是一份随时间、任务和连接条件变化的稀缺预算。AI 系统必须回答的，不只是“什么时候找人”，还有“为什么此刻的人有能力完成这次监督”。
如果你的团队正在把 AI 接入 SIEM、SOAR 或调查工作台，上线前至少问五个问题：
01 系统是否计算每次审核的真实时间与认知成本？
02 是否把人员负荷与网络暴露分开处理？
03 自动隐藏或自动关闭的内容能否完整审计？
04 是否存在不可取消的随机抽样与人工复核？
05 当本班次无力处理、外部专家又不可达时，系统如何安全降级？
“人在回路”不是界面上保留一个确认按钮。它意味着系统主动保护人仍然能够注意、记忆、判断并采取行动的条件。
参考资料
01 Nathan Conklin, Peng Gao, Chris North. Connectedness, Cognitive Load, and Human-AI Oversight in Cyber Operations. arXiv:2610.02384, 2026.
02 Bushra A. Alahmadi, Louise Axon, Ivan Martinovic. 99% False Positives: A Qualitative Study of SOC Analysts' Perspectives on Security Alarms. USENIX Security 2022.
03 Ronal Singh et al. LLMs in the SOC: An Empirical Study of Human-AI Collaboration in Security Operations Centres. arXiv:2508.18947, 2025.
04 Tomek Korbak et al. Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety. arXiv:2507.11473, 2025.
| 研究边界｜ 本文讨论的是人机监督架构与安全运营治理，不是已部署系统的效果报告。目标论文明确将“环境遥测能够预测人工审核能力下降”视为待验证、可证伪的假设。潜艇场景中的候选规则不能直接迁移到企业 SOC，任何自动隐藏告警的机制都应先经过历史回放、人工抽样和持续审计。技术内容仅供防守研究与系统设计参考。 |
| ⚠ 研究边界 目标论文提出的是参考架构，环境遥测能否可靠预测人工审核能力仍待实证。潜艇场景中的候选规则不能直接迁移到企业 SOC；任何自动隐藏告警的机制都应先经过历史回放、人工抽样与持续审计。 |
版权声明
本站仅做备份收录，仅供研究与教学参考之用。
读者将信息用于其他用途的，全部法律及连带责任由读者自行承担，本站不承担任何责任。
评论