微软发布全新安全框架,将AIAgent视为内部威胁"

admin 2026-10-24 15:37:45 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

微软发布全新安全框架,将AI Agent视为内部威胁

FreeBuf

2026年10月21日 18:00
上海

去阅读

微软发布详细博客文章,指导企业做好AI Agent的安全防护。微软将AI Agent视为日益凸显的内部威胁,而非仅存在于未来的潜在风险。AI Agent本身并无危险性,但它们可以访问核心系统,可能出现故障、遭攻击者操纵或攻陷。

Satya Nadella 表示:\"最值得信赖的Agentic AI系统,并非搭载了我们最信任的模型,而是采用了让我们无需过度信任模型的设计。\"

这并非纯理论构想,而是企业设计和防护AI系统时应当遵循的核心原则。

Part01

放弃前置信任假设

正视AI Agent运行时风险

博客中提出了一个值得重视的关键区分:如果运行过程中上下文发生变化,即便Agent启动任务时权限配置正确、初始行为合规,仍可能产生危险。

外部文档中的提示注入、不可信数据篡改Agent推理逻辑、任务朝未预期方向演化,要触发这些风险,攻击者无需通过传统手段攻陷Agent。模型输出存在可变性,上下文动态变化就会导致Agent行为漂移。由于系统以机器速度运行,从漂移发生到造成实际损害的时间窗口极短。

Part02

落地动态权限机制

配套持续风险评分体系

微软提出的应对思路是用持续管控替代前置信任。在Agent行动前明确其允许的操作范围,运行过程中监控其实际行为,再根据行为变化或风险计算结果实时调整权限。例如费用审批类Agent的初始访问范围应严格限定在费用审核与审批环节,不得开放额外权限,一旦Agent尝试执行任务范围外的操作,其权限就应立即收缩甚至撤销。

博客推出了动态权限(Dynamic Permissions)机制,将最小权限原则应用到AI Agent管控中。Agent不会自动继承部署它的员工的访问权限,而是初始状态零权限,仅获取获批任务所需的访问资格,且这些权限仅在任务运行期间生效。员工原有的访问权限保持不变,Agent则拥有独立的身份和授权范围,只能在指定时间内访问与任务相关的资源。

与之配套的动态Agent风险(Dynamic Agent Risk)是一套持续更新的评分体系,整合来自身份、终端、网络、云、运行时以及Agent自身行为的各类信号,评估Agent当前操作是否仍在授权范围内。风险升高时的响应措施是梯度式而非二元一刀切的:保留读取权限的同时阻断写入操作、缩小可访问资源范围、高影响操作需人工审批,若风险达到阈值则直接终止执行。

微软表示:\"动态Agent风险机制整合来自身份、数据、终端、云、网络、运行时以及Agent自身活动的信号,评估Agent的配置安全水平、可访问资源范围、故障发生后的潜在影响,以及其行为是否偏离用户或企业的预期。\"

\"这套机制不会在Agent接入时给出一次性评分,而是持续更新对Agent当前风险状态的判断,动态匹配其当前权限与风险等级。\"

Part03

统一纳管散落Agent

配套Guardian Agents自动响应

企业环境中往往存在大量本地运行或通过第三方工具引入的AI Agent,这些Agent从未在中央系统中正式登记。微软表示,其目前已将发现范围扩展至60种本地Agent,包括Claude Code、OpenAI Codex、GitHub Copilot。将这些Agent纳入统一注册表、为其配置可追溯的责任身份,是应用后文所有管控措施的前提。

如果不知道Agent的存在,就无法为其配置最小权限;如果Agent没有可追踪的身份,就无法检测其行为漂移。Agent登记问题的实际落地难度远高于字面听起来的程度,尤其是当前大多数企业都允许员工在不经过IT部门审批的情况下自行创建Agent。

当企业运行数十万AI Agent时,无法靠人工审核每一条风险告警。对此微软推出了专注于安全防护的Guardian Agents方案。这类Agent遵循人类运营人员制定的处置预案,调查风险变化,执行或推荐安全防护措施,并通过持续学习优化安全策略。人类负责设定目标、审批重要决策,Guardian Agents则承担持续监控和响应工作。

但这种思路也引发了新的担心。Guardian Agents本身也是AI Agent,和它们要管控的Agent一样,可能出现故障或遭攻击者操纵。微软提出,安全控制措施必须独立于AI模型运行,且模型无权修改这些控制规则。但这也带来了一个关键问题:如果执行控制措施的系统本身也是AI Agent,企业要如何确保这些控制措施持续可靠?这是未来几年实际落地过程中必须解决的挑战。

微软总结道:\"企业部署Agent是为了更好地服务客户、更快解决问题,让员工有更多时间处理高价值工作。我们的目标不是让每个模型在投入使用前都做到完全可预测,而是构建即便模型出现不可靠情况,仍能保持安全的系统。\"

参考来源:

Microsoft Treats AI Agents as Insider Threats in New Security Framework

https://www.darkreading.com/application-security/microsoft-treats-ai-agents-as-insider-threats

推荐阅读

电报讨论

微软发布全新安全框架,将AIAgent视为内部威胁" 网络安全文章

微软发布全新安全框架,将AIAgent视为内部威胁"

微软发布新安全框架,将AIAgent视为内部威胁,提出动态权限机制替代前置信任,配套持续风险评分体系,统一纳管散落Agent并推出GuardianAgents自动响应。核心原则是构建即便模型不可靠仍能保持安全的系统,企业应放弃前置信任假设,正视AIAgent运行时风险。
提示词注入(PromptInjection)防护技术深度研究报告" 网络安全文章

提示词注入(PromptInjection)防护技术深度研究报告"

本文深度剖析提示词注入攻击的五条通路与六层纵深防御架构,指出间接注入是企业级AI系统最危险攻击面。提出输入解析层规范化、渲染一致性比对、上下文构造层Spotlighting等防护技术,并给出可落地的红队测试用例基线。强调防护核心在于重建指令与数据的信道隔离,而非依赖模型识别恶意。
评论:0   参与:  0