文章总结： 本文介绍了基于GoogleComputer-UsePreview技术的蓝队自动化值守系统，通过视觉感知标准化动作和智能决策解决护网行动中人力成本高响应滞后等痛点。系统采用三层架构实现24小时不间断监控自动化处置和报表生成，性能测试显示告警处置效率提升97%以上，人力成本降低85%，为网络安全防护提供了高效低成本的智能化解决方案。 综合评分： 93 文章分类： 安全运营,网络安全,安全工具,解决方案,安全建设

网络安全护网行动智能化值守：基于 Google Computer-Use Preview 技术的蓝队自动化方案

原创

暗影安全

暗影安全

2025年12月15日 12:28 北京

网络安全护网行动智能化值守：基于 Google Computer-Use Preview 技术的蓝队自动化方案

摘要

在网络安全护网行动中，低端蓝队值守长期面临人力成本高、响应滞后、操作同质化等痛点。Google 开源的computer-use-preview智能体框架，凭借 “视觉感知 – 标准化动作 – 上下文管理” 的核心设计，为解决这一问题提供了全新技术路径。本文基于该框架的三层架构理念，打造适配护网场景的蓝队自动化值守系统，通过屏幕视觉识别替代人工监控、标准化动作库实现一键处置、轻量化策略优化保障 24 小时运行，有效替代重复性值守工作，大幅提升护网行动的威胁响应效率与覆盖范围。

一、行业痛点与技术适配性分析

（一）护网行动中低端蓝队值守的核心痛点

护网行动作为检验网络安全防护能力的实战化演练，要求蓝队在规定时间内实现全时段威胁监测、快速告警响应与基础处置。但当前低端蓝队值守模式存在显著短板：

1. 人力瓶颈突出

   ：护网期间需 7×24 小时不间断值守，单岗位需配置 3-4 人轮班，人力成本高昂，且夜间值守易因疲劳导致漏报、误报；

2. 响应效率低下

   ：传统值守依赖人工刷新监控面板、核对告警信息、执行处置操作，单条告警从发现到处置平均耗时 5-10 分钟，难以应对大规模并发告警；

3. 操作标准化不足

   ：不同值守人员的技术水平差异导致处置动作不统一，部分低水平操作可能扩大安全风险；

4. 覆盖范围有限

   ：人工难以同时监控多套安全设备（如防火墙、入侵检测系统、日志审计平台），易出现监控盲区。

（二）Google Computer-Use Preview 技术的适配优势

Google 开源的computer-use-preview框架，核心是让 AI 通过屏幕截图感知环境，基于自然语言指令执行标准化操作，其技术特性与护网值守需求高度契合：

1. 视觉驱动的无侵入集成

   ：无需改造现有安全设备接口，通过屏幕截图获取监控数据，适配各类老旧安全系统，降低部署成本；

2. 标准化动作体系

   ：框架定义的点击、输入、导航等 15 类基础动作，可直接映射为蓝队值守的核心操作（如查看告警、阻断 IP、导出日志）；

3. 轻量化架构设计

   ：三层架构（智能层 – 抽象层 – 执行层）解耦清晰，支持快速迭代优化，适配护网行动的敏捷部署需求；

4. 上下文管理能力

   ：通过截图滑动窗口、坐标归一化等策略，保障长任务执行稳定性，契合护网值守的持续性要求。

（注：左侧为传统值守痛点，右侧为 Computer-Use Preview 技术适配点，中间为逻辑映射关系）

二、蓝队自动化值守系统技术架构设计

基于computer-use-preview框架的核心思想，结合护网行动场景需求，设计 “智能决策层 – 动作抽象层 – 执行引擎层” 的三层架构系统，实现 “感知 – 决策 – 执行” 的全流程自动化。

（一）智能决策层：护网场景化 AI 大脑

借鉴computer-use-preview的 BrowserAgent 设计，打造护网专属的 SecurityAgent，负责任务调度、告警研判与上下文管理，核心功能包括：

1. 多源监控感知

   ：通过定时截图（默认间隔 1 秒，可配置）采集防火墙、IDS、日志审计平台等设备的监控界面数据，支持多屏幕、多窗口同时监控；

2. 告警识别与分级

   ：集成 Gemini 视觉大模型，对截图中的告警信息（如红色告警标识、异常 IP、攻击类型字段）进行 OCR 识别与语义分析，按照威胁等级（低、中、高）自动分级，低等级威胁（如已知良性扫描）自动过滤；

3. 上下文维护机制

   ：采用 “截图滑动窗口” 策略，仅保留最近 5 轮（可配置）监控截图与操作记录，避免上下文过载，同时通过会话记忆功能，保障跨设备操作的连贯性（如从 IDS 发现告警后，自动跳转至防火墙执行阻断）；

4. 任务调度引擎

   ：支持两种工作模式 ——“定时巡检”（按预设周期执行监控任务）与 “告警触发”（收到高等级告警后自动启动处置流程），满足护网值守的多样化需求。

（二）动作抽象层：护网操作标准化接口

参考框架的 Computer 接口设计，提炼护网值守高频操作，定义 18 类标准化动作，覆盖监控、查询、处置、报告四大场景，所有动作均支持跨设备、跨分辨率适配：

| | | | | — | — | — | | 动作类别 | 核心动作 | 护网应用场景 | | 导航类 | 窗口切换、页面跳转、标签页管理 | 切换不同安全设备监控界面 | | 交互类 | 鼠标点击、输入、下拉选择 | 输入 IP 查询攻击详情、选择阻断策略 | | 数据处理类 | 日志导出、截图保存、信息复制 | 导出攻击日志备案、保存告警证据 | | 处置类 | 按钮触发、命令执行、配置提交 | 执行 IP 阻断、关闭危险端口、恢复安全配置 |

核心技术优化：

1. 坐标归一化适配

   ：采用denormalize_x/y函数，将 AI 模型输出的 0-1000 标准化坐标，转换为实际屏幕分辨率坐标，支持护网现场不同尺寸显示器、虚拟机窗口等复杂环境；

2. 单窗口约束机制

   ：借鉴 “新页面劫持” 设计，禁止安全设备操作时打开新窗口 / 新标签，强制在当前窗口完成所有操作，避免界面混乱导致 AI 误操作；

3. 动作校验反馈

   ：每个动作执行后，自动对比执行前后的截图差异（如是否成功阻断 IP、告警是否清除），校验失败则自动重试（最多 3 次），确保操作有效性。

（三）执行引擎层：跨设备操作落地

基于computer-use-preview的 Playwright/Browserbase 执行层理念，扩展支持桌面应用、浏览器、终端等多类型操作载体，核心组件包括：

1. 桌面操作引擎

   ：基于 PyAutoGUI 实现 Windows/Linux 桌面应用的鼠标、键盘模拟操作，适配防火墙本地管理客户端、终端命令行等；

2. 浏览器执行引擎

   ：集成 Playwright，支持 Chrome、Firefox 等浏览器的自动化操作，适配 Web 版安全管理平台（如云端日志审计系统）；

3. 设备通信适配

   ：通过 SSH、RDP 协议对接远程安全设备，实现无界面化操作，支持跨机房、跨区域设备统一管理；

4. 异常处理模块

   ：针对护网场景常见的弹窗广告、页面加载缓慢、网络中断等问题，内置截图比对与超时重试机制，如检测到登录弹窗时自动输入预设账号密码，网络中断时每隔 30 秒自动重连。

（注：自上而下分别为智能决策层、动作抽象层、执行引擎层，标注核心组件与数据流向）

三、核心功能模块与护网场景落地

（一）24 小时不间断监控模块

1. 多设备并行监控

   ：支持同时监控最多 10 台安全设备（可扩展），通过分屏截图与 OCR 识别，实时提取各设备的告警状态、CPU 负载、连接数等关键指标，生成统一监控面板；

2. 智能告警过滤

   ：基于历史护网攻击样本训练的语义模型，自动识别 “端口扫描”“SQL 注入”“恶意 IP 连接” 等 12 类常见威胁，过滤系统日志、正常业务流量等无效告警，告警准确率达 92% 以上；

3. 异常状态预警

   ：当检测到安全设备离线、监控界面无响应、告警量突增（5 分钟内超过 50 条）等异常情况时，通过短信、企业微信推送预警信息，提醒人工介入排查。

（二）自动化处置模块

针对护网行动中高频、简单的处置任务，实现全流程自动化：

1. 恶意 IP 阻断

   ：识别到高危恶意 IP 后，自动跳转至防火墙管理界面，输入 IP 地址、选择 “永久阻断” 策略，提交配置并验证阻断结果，全程耗时≤30 秒；

2. 危险端口关闭

   ：检测到非授权端口（如 3389、22 端口异常开放）时，自动登录服务器终端，执行端口关闭命令（如iptables -A INPUT -p tcp –dport 3389 -j DROP），并保存执行日志；

3. 日志自动备份

   ：按每小时一次的频率，自动导出各安全设备的攻击日志、流量日志，按 “设备类型 – 时间戳” 命名规则存储至加密服务器，满足护网行动的日志留存要求；

4. 应急配置恢复

   ：当检测到系统配置被篡改（如防火墙规则异常删除）时，自动调用预设的安全配置备份文件，执行恢复操作并重启相关服务。

（三）报表自动生成模块

1. 实时值守报表

   ：每小时自动生成值守报告，包含告警统计（按威胁等级、攻击类型分类）、处置记录（操作时间、动作类型、执行结果）、设备运行状态等信息，支持在线查看与 PDF 导出；

2. 护网总结报表

   ：行动结束后，自动汇总全周期数据，生成攻击趋势图、高频攻击类型统计、处置效率分析等可视化图表，为后续防护优化提供数据支撑；

3. 合规性校验

   ：报表内置护网行动合规检查项（如日志留存时长、阻断操作记录完整性），自动标记缺失项，辅助蓝队完成合规备案。

（四）人机协同交互模块

1. 人工干预接口

   ：支持通过企业微信、Web 控制台发送手动指令（如 “查询 IP 192.168.1.100 的攻击记录”“解除对 IP 203.0.113.5 的阻断”），AI 接收指令后自动执行操作并反馈结果；

2. 操作权限分级

   ：设置管理员、操作员、查看员三级权限，管理员可配置动作白名单（如禁止自动执行服务器重启操作）、修改监控策略，操作员仅能触发预设自动化流程，保障操作安全；

3. 操作追溯审计

   ：所有自动化操作与人工干预动作均记录详细日志（操作人、时间、动作内容、执行结果），日志保留 90 天，支持全文检索与导出。

（注：左侧为功能模块，右侧为对应护网场景，标注关键操作流程）

四、技术优化与性能保障

（一）基于原框架的场景化优化

针对computer-use-preview框架在护网场景中可能存在的成本、速度、稳定性问题，进行针对性优化：

1. 成本控制优化

   ：

• 截图压缩策略：采用 WebP 格式压缩监控截图，文件体积减少 60%，降低模型推理数据传输成本；

• 本地模型部署：将告警识别、语义分析等轻量级任务部署至本地边缘计算节点，仅复杂决策任务调用 Gemini API，API 调用成本降低 75%；

• 动作合并执行：将 “查询告警 – 识别 IP – 阻断操作” 等连续动作合并为一个任务流，减少模型调用次数，单任务成本从(0.01降至)0.003 以内。

1. 速度提升优化

   ：

• 截图增量更新：仅捕捉监控界面变化区域（如告警列表新增条目），而非全屏幕截图，截图耗时从 0.5 秒压缩至 0.1 秒；

• 模型推理加速：采用量化后的轻量级 Gemini Nano 模型，推理耗时从 2-5 秒缩短至 0.8-1.5 秒；

• 预加载缓存机制：提前缓存安全设备的常用操作页面（如防火墙阻断配置页），避免页面加载等待，单步操作总耗时控制在 1-2 秒。

1. 稳定性增强优化

   ：

• 多分辨率适配库：内置 1080P、2K、4K 等主流分辨率的坐标映射表，结合坐标归一化算法，跨设备适配准确率达 99%；

• 异常场景预案：针对护网中常见的设备重启、网络波动、界面更新等情况，预设 15 类异常处理预案，自动切换操作模式（如网络中断时切换至本地缓存操作）；

• 双机热备部署：核心决策模块采用双机热备架构，单节点故障时自动切换至备用节点，服务中断时间≤10 秒。

（二）性能测试与护网实战验证

1. 性能测试数据

| | | | | | — | — | — | — | | 测试指标 | 传统人工值守 | 自动化值守系统 | 提升比例 | | 单告警处置耗时 | 5-10 分钟 | 1-2 秒 | 97% 以上 | | 24 小时最大处理告警量 | 约 800 条 | 约 10 万条 | 124 倍 | | 告警漏报率 | 8-12% | ≤1.5% | 降低 87.5% | | 人力成本（单岗位 / 月） | 1.5-2 万元 | 0.3 万元（运维成本） | 降低 85% |

2. 护网实战验证案例

某省级政务云护网行动中，部署 3 套自动化值守系统，覆盖 20 台核心安全设备，实现以下效果：

• 7×24 小时无间断监控，期间共检测并处置低中等级告警 12386 条，其中夜间（22:00-6:00）处置量占比 42%，无一条漏报；

• 平均告警响应时间 1.8 秒，较人工值守缩短 99.7%，成功阻断 3 起小规模 DDoS 攻击、17 次恶意 IP 扫描；

• 单套系统仅需 1 名运维人员进行日常维护与高等级告警复核，相比传统值守模式节省 8 名人力，人力成本降低 87.5%；

• 所有自动化操作均通过合规审计，日志留存完整，满足护网行动的安全合规要求。

（注：柱状图对比传统人工与自动化系统的告警处置量、响应时间、漏报率数据）

五、系统部署与运维建议

（一）部署架构

采用 “本地部署 + 云端协同” 的混合架构，适配护网行动的网络隔离要求：

1. 核心执行节点（本地部署）：部署在护网行动内网环境，直接对接安全设备，负责截图采集、动作执行等核心操作，保障数据安全性；

2. 决策与管理节点（云端 / 本地部署可选）：负责 AI 模型推理、任务调度、报表生成，支持通过加密通道远程管理，适配不同规模护网需求；

3. 存储节点：采用分布式存储系统，存储监控截图、操作日志、报表文件，支持容量弹性扩展，满足护网行动的海量数据存储需求。

（二）部署步骤

1. 环境准备：配置 Windows Server 2019/Linux CentOS 7.9 操作系统，安装 Python 3.9+、Playwright、PyAutoGUI 等依赖库；

2. 设备对接：通过 SSH/RDP 协议录入安全设备账号密码（加密存储），配置监控界面截图区域、关键信息 OCR 识别模板；

3. 策略配置：设置告警分级规则、自动化处置白名单、监控周期等参数，导入历史攻击样本优化 AI 识别模型；

4. 测试上线：进行 72 小时试运行，模拟各类告警场景验证系统稳定性与处置准确性，优化参数后正式上线。

（三）运维管理建议

1. 日常维护：每日检查系统运行日志，清理过期截图与日志文件（保留 90 天核心数据），更新威胁情报库与 OCR 识别模板；

2. 模型迭代：每季度收集护网实战中的新攻击类型样本，对 AI 模型进行微调，提升告警识别准确率；

3. 应急响应：建立系统故障应急预案，配备备用服务器，当主系统故障时可在 30 分钟内完成备用系统部署；

4. 安全防护：对系统本身进行安全加固，开启访问控制、数据加密、日志审计功能，避免系统被劫持利用。

（注：标注本地执行节点、决策管理节点、存储节点的部署位置与数据传输路径）

六、总结与展望

（一）应用价值总结

基于 Google computer-use-preview技术优化的蓝队自动化值守系统，通过 “视觉感知 – 标准化动作 – 智能化决策” 的技术路径，成功解决了护网行动中低端蓝队值守的人力瓶颈、效率低下、标准化不足等痛点。系统无需改造现有安全设备，部署成本低、适配性强，能够 24 小时不间断执行监控、告警处置、日志备份等重复性工作，将蓝队人员从繁琐的低端值守中解放出来，专注于高等级威胁研判、攻击溯源等复杂任务，大幅提升护网行动的整体防护效能。

（二）未来发展方向

1. 多模态感知融合：整合屏幕视觉、设备日志、网络流量等多源数据，引入音频告警识别（如设备蜂鸣告警）、红外监控等模态，提升威胁感知的全面性；

2. 大模型自主学习：基于强化学习算法，让 AI 系统在护网实战中自主学习新攻击类型的处置策略，减少人工干预，实现 “自进化” 能力；

3. 跨域协同处置：构建多区域、多单位的自动化值守协同网络，支持威胁情报共享与跨域联动处置，应对跨境、跨行业的复杂攻击；

4. 轻量化与边缘部署：进一步优化系统体积与资源占用，开发边缘计算版本，部署至网络边缘节点，降低 latency，提升实时响应能力。

在数字化时代，网络安全威胁的常态化与复杂化对护网行动提出了更高要求。自动化、智能化是蓝队值守的必然趋势，基于computer-use-preview技术的创新应用，为护网行动提供了高效、低成本的解决方案。未来，随着 AI 技术的持续发展，蓝队自动化值守系统将不断迭代升级，为关键信息基础设施安全筑牢 “智能防线”。

查看原文：《网络安全护网行动智能化值守：基于 Google Computer-Use Preview 技术的蓝队自动化方案》