AI时代,我们保护的不再只是机器,而是机器的“行为”"

admin 2026-10-23 13:15:43 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

cover_image

AI 时代,我们保护的不再只是机器,而是机器的“行为”

原创

jishuzhain
jishuzhain

OnionSec

2026年7月17日 20:59
广东

在小说阅读器读本章

去阅读

面试字节跳动的【安全专家-终端安全】岗位时遇到一个面试问题:

对于引入 AI 的新业务系统如何设计防御方案?

那时那刻回答的很差劲,后续针对这个问题进行了学习,几个月后 Anthropic 发布了一份实践指南《Zero Trust for AI Agents》,以下是学习笔记。

这篇关于 AI Agent Zero Trust 的指南,真正值得关注的,并不是其中出现了多少新的技术名词,而是它透露出一种正在形成中的安全范式变化。

很多具体方案未来一定会变化,但一些底层安全思想不会改变。

相比于讨论“Agent Security 到底包含哪些技术”,更值得思考的是:

为什么业界开始尝试用 Zero Trust 的方式重新理解 AI 系统?

过去很多年的软件安全模型,都建立在一个基本假设之上:

软件本身是被动执行的。

无论是 Web 应用、客户端程序,还是传统服务端系统,本质上都是按照预定义逻辑运行。

攻击者通常需要寻找漏洞:
• 绕过认证
• 获取权限
• 扩大控制范围

安全建设的重点,也围绕着漏洞修复、权限控制和边界防护展开。

但 Agent 的出现,让这种模型开始发生变化。

Anthropic 在《Zero Trust for AI Agents》中提到,Agent 可以理解目标、选择工具,并执行多步骤任务。

这意味着软件系统开始具备一种更开放、更接近人类工作流的自治执行能力。

因此,新的攻击面也发生了变化:
未来攻击者未必只需要获得系统权限,也可能通过影响 Agent 的行为路径,让系统在合法权限范围内执行错误操作。

这也是为什么 Prompt Injection 与传统输入注入存在明显区别。

SQL Injection 的核心目标,是突破数据库查询语法边界。

而 Prompt Injection 更多是在影响模型上下文、控制流程以及工具调用决策。

它攻击的不是传统意义上的权限边界,而是系统的行为逻辑。

很多人习惯把 Prompt Injection 理解成“AI 时代的 SQL Injection”,但两者实际上属于不同层面的安全问题:
前者更接近控制流和决策链攻击,后者更多属于输入验证问题。

文档中一个值得长期关注的概念,是 Least Agency。

传统 Least Privilege 解决的是:
一个主体可以访问哪些资源?
而 Least Agency 更进一步:一个自治系统被允许执行哪些行为?

它不仅限制权限,还限制:

• 可调用的工具
• 执行动作范围
• 操作频率
• 上下文环境
• 持续时间

这个思想其实与过去多年终端安全领域的发展非常接近。

EDR 时代逐渐认识到:
真正危险的并不只是某个进程拥有多少权限,而是它接下来进行了什么行为。

因此,很多 Agent Security 的设计,其实正在吸收 EDR、SOC、云安全领域长期积累的方法论。

例如:
• Baseline
• Behavior Drift
• Anomaly Detection
• Traceability

这些概念并不陌生。
过去安全团队关注:
一个进程做了什么?
未来可能更多关注:
一个 Agent 为什么选择这样做?调用了什么工具?产生了什么影响?

过去分析:
Process Tree

未来分析:
Prompt → Context → Tool Selection → API Call → Result

保护对象发生变化,但安全思想并没有完全改变。

这份文档里有一句非常值得长期记住的判断:
一个安全控制措施,到底是在让攻击变得不可能,还是只是让攻击变得更加困难?

这个问题非常重要。
因为 AI 时代攻击自动化程度可能进一步提高,攻击成本会不断下降。

很多传统安全方案,本质上是在增加攻击摩擦:
例如:
• Rate Limit
• 多因素认证
• 操作限制

这些措施仍然重要。
但对于自治系统而言,仅仅增加摩擦可能并不足够。

更理想的方向,是减少系统本身不必要的能力。

这也是为什么 Zero Trust 体系越来越强调:
• JIT(Just-In-Time)权限
• Identity-based Isolation
• 短生命周期身份
• Capability Reduction

这些设计的共同特点,是从架构层面减少攻击者能够利用的能力。

安全不只是“阻止攻击发生”,更重要的是:
让系统不存在不必要的攻击可能。

这已经从传统安全运维问题,逐渐进入安全架构设计领域。

另一个容易被忽视的重点,是 Blast Radius。
过去很多企业安全建设,目标往往是:
如何避免系统被攻破?

但现代安全体系越来越接受一个现实:
复杂系统无法保证永远不被突破。

因此,更重要的问题变成:
如果发生失陷,攻击影响能否被限制?
云原生安全、零信任架构、身份安全,都越来越强调这种思路。

对于 Agent 而言,这一点更加明显。
因为自治系统一旦被错误引导,它造成的影响速度可能超过传统人工操作。

这也是为什么文档最后反复强调 fundamentals。

真正高频出现的,并不是某个新的 AI 技术,而是:
• Identity
• Observability
• Audit
• Rollback
• Traceability
• Segmentation

这些其实都是过去安全行业长期积累的基本能力。

这说明一个现实:
未来优秀的 AI Security 团队,不一定只是最懂大模型的人,而是那些真正理解系统安全基本原则,并能够将这些原则迁移到 AI 时代的人。

很多人认为 AI Security 是一个全新的领域。
但如果从安全发展的历史来看,它更像是过去二十年安全思想的一次重新组合。
Zero Trust 解决身份问题。
EDR 解决行为问题。
SOAR 解决自动响应问题。
云安全解决动态环境问题。

而 Agent Security,则开始尝试保护一种新的对象:
具备自治执行能力的系统行为。

变化的不是安全原则,变化的是:
过去我们保护的是服务器、终端和网络。

未来,我们需要保护的是一个能够理解目标、调用工具并自主行动的系统。


AI时代,我们保护的不再只是机器,而是机器的“行为”" 网络安全文章

AI时代,我们保护的不再只是机器,而是机器的“行为”"

本文探讨AIAgent带来的安全范式变化,从保护机器转向保护机器行为。核心观点包括:Agent的自治执行能力改变了攻击面,PromptInjection攻击的是行为逻辑而非权限边界;引入LeastAgency概念限制自治系统行为;强调减少系统不必要能力比增加攻击摩擦更有效;安全建设应关注身份、可观测性、审计等基础能力。文档认为AISecurity是过去安全思想的重新组合,而非全新领域。
大模型也看不懂的黑产黑话:真实世界对抗性地下黑话检测研究" 网络安全文章

大模型也看不懂的黑产黑话:真实世界对抗性地下黑话检测研究"

该论文系统研究了真实世界中文地下对抗黑话,发现其具有扰动更强、形态更多、结构更碎的三重特征,显著削弱了现有大语言模型的检测与恢复能力。为此提出JADE检测框架,通过构建黑话分类体系、结合外部知识检索与LoRA参数高效微调,在真实数据集上实现了98.59%的检测准确率和95.91%的恢复准确率,并展现出良好的泛化能力。该工作为黑灰产内容治理提供了新数据集与技术方案。
门票炒到3000元的WAIC,我们找到了AI真正的创新" 网络安全文章

门票炒到3000元的WAIC,我们找到了AI真正的创新"

2026年世界人工智能大会(WAIC)于7月17日在上海开幕,此次大会的核心趋势是AI产业从技术展示转向真实场景的产品交付与应用。具身智能成为焦点,工业机器人、家庭机器人及消费级机器狗等产品均展示了其在生产和生活中的实际应用能力。同时,AI与硬件的结合更加深入,从AI智能体耳机、手机到能打印建议的AI桌宠和监测植物状态的传感器,AI正通过多样化的硬件形态融入日常生活。此外,大模型的竞争也从单纯的参数比拼转向对任务的规划与执行能力,以及降低推理成本和提升效率。
终于用上AI的公司,发现业务被大模型公司抢了" 网络安全文章

终于用上AI的公司,发现业务被大模型公司抢了"

文章指出企业正从盲目拥抱大模型转向冷静审视,面临数据主权、业务被侵蚀和ROI不明确等挑战。核心风险在于AI服务商可能利用合作数据成为竞争对手,如Anthropic推出ClaudeDesign对标Figma。企业需掌控数据主权,培养能驾驭AI的人才,并关注主权AI基础设施、AI网关等新赛道,以在AI时代找到安全边界。
评论:0   参与:  0