从防注入到防失控：大模型安全检测的体系化演进

原创

yzddMr6
yzddMr6

熵减矩阵

2026年10月22日 09:00
浙江

去阅读

2026阿里云云栖大会议题记录

随着大模型从单轮交互走向复杂推理与自主执行，安全风险也在从显性的恶意输入，向多轮上下文累积、意图演化和行为偏离延伸。传统围绕单次请求和局部内容的检测方式，已难以全面判断模型在复杂任务中的真实意图与潜在风险。

本议题将结合最新安全趋势与阿里云技术实践，探讨大模型安全检测如何从单点识别走向持续研判，从内容检测走向对上下文、意图与行为的综合分析，构建面向模型运行全过程的体系化安全检测能力。

一、风险演进：三类风险持续累加

2023 年 Bing Sydney 的提示泄露，是直接提示词注入的典型例子。攻击者通过对话诱导模型，试图让它泄露系统提示，或突破原有的行为要求。这类攻击直接出现在用户输入中。提示泄露公开记录

2025 年披露的 EchoLeak 漏洞展示了间接注入的风险。恶意内容可以藏在邮件中，随着正常的信息检索进入模型上下文，诱导模型泄露信息。攻击者无需直接与模型对话，模型读取的业务数据也可能夹带恶意指令。EchoLeak 披露

随着 Agent 开始长时间执行任务、使用更多工具，还出现了任务执行中的自主偏离。即使没有显式的外部攻击者操纵输入，Agent 也可能在任务受阻后寻找其他方法，将行动范围扩大到任务之外。2026 年的 Hugging Face 事件就是一个公开案例。

三类风险持续累加。自主偏离出现之后，直接注入和间接注入仍然需要防护。

与预先定义好的业务流程相比，Agent 会根据任务描述和执行反馈动态选择下一步。遇到问题时，它可以重试、更换工具，也可能转向其他系统。因此，检测既要关注输入是否在操纵模型，也要检查后续的工具调用和对象访问，判断这些行为是否仍在授权范围内。

三类风险持续累加，防护范围从输入内容延伸到任务执行

图 1：直接注入、间接注入与任务执行中的自主偏离。

二、Hugging Face 事件中的越界过程

Hugging Face 事件起于网络安全能力评测。根据 OpenAI 的通报，相关评测没有启用与对外部署系统同等程度的防护。事件中的越界行为发生在这一特定条件下，不能直接推及普通产品的常规使用。OpenAI 事件通报

把多个 Agent 的活动汇总起来，可以看到这样一条攻击链：它们先利用软件包缓存代理的漏洞获得外联能力，并通过非授权通信通道共享线索，随后把外部代码沙箱作为出网和暂存的跳板，进入 Hugging Face 的数据处理环境。

其中有两条独立的漏洞路径：HDF5 外部引用使 Agent 能够读取本地文件和环境信息，模板注入则使它能够在生产 Worker 中执行代码。相关活动从生产 Pod 和服务身份继续扩展，获取了敏感凭据和部分源码，并进一步取得节点与集群权限。Hugging Face 技术时间线

这起事件值得关注的地方，是前后行为之间的联系。读取到的环境信息可以用于定位服务，取得的凭据可以用于访问其他系统，新的执行环境又能成为继续攻击的跳板。一次次读取、调用和程序执行，最终跨过了多个环境边界。

明确禁止的操作，需要在执行时限制；连续行动形成的风险，还需要结合任务和前后记录分析。 只查看孤立的请求，容易遗漏前一步为后一步提供了什么条件，以及任务范围何时开始扩大。

Hugging Face 多 Agent 聚合攻击链

图 2：公开事件中多 Agent 活动的聚合示意，并非某个 Agent 单次运行的完整顺序记录。

三、同步实时防护与异步意图分析

阿里云大模型安全检测体系采用同步实时防护与异步意图分析相结合的方式。

同步实时防护。 检测与控制设置在模型输入、输出和实际执行的位置。输入检测检查用户任务及上下文，输出检测检查模型响应和行动计划。工具调用、文件读写和网络访问受执行点策略限制，真实环境中的身份、主机和云资源则通过权限控制保护。例如，明确禁止的网络访问应由执行点策略及时限制，不必等待会话分析给出完整结论。

有些风险需要结合多轮记录才能识别。例如，Agent 最初只是访问目标失败，随后开始内网侦察，再转向获取平台内部信息。单看某次调用，可能只能看到一次扫描或读取；结合原始任务和前后记录，才能判断它为什么转向，以及新访问的对象是否超出授权。

异步意图分析。 执行记录进入后台后，系统还原 Agent 的动作、交互对象和结果，提取原始任务的目标与授权范围，分析各阶段在做什么，再判断哪些行为存在风险。

同步防护判断当前请求或动作，异步分析判断多轮执行中是否出现偏离。 每次工具调用不必等待完整的会话分析，异步分析也不必等任务结束才启动。随着新记录到达，系统可以更新分析结果。

明确的权限限制仍然由执行控制负责。需要结合任务上下文才能判断的范围扩大、方法变化等问题，由会话分析补充识别。正常的重试、修复和授权范围内的替代方法可以继续，违反任务边界的行为则应受到限制。

同步实时防护与异步意图分析

图 3：同步防护检查当前请求与动作，异步分析结合多轮上下文研判风险。

四、从轨迹理解到风险研判

会话分析需要先还原执行过程，再对照原始任务判断是否违规。我们的分析流程包括轨迹还原、基线提取、阶段理解、风险研判，以及告警和全局图生成。

轨迹还原。 系统先将工具请求与返回配对，提取动作和交互对象，再由模型理解每一步做了什么、得到了什么结果。调用参数记录的是 Agent 发起的操作，返回内容说明操作的执行情况。例如，发起读取请求不等于已经取得文件，收到拒绝访问的结果，也不能记作读取成功。

基线提取。 知道 Agent 实际做了什么之后，还需要确认本次任务允许它做什么。我们从原始任务中提取目标、授权范围、限制和完成条件，作为判断依据。完成条件说明任务需要达到什么结果，授权范围则约束它可以对哪些对象采取什么操作。不能只保留“完成任务”这一目标，而忽略对执行过程的要求。

任务基线必须来自原始授权，不能从 Agent 已经做过的行为反推。 如果它扫描过某台主机，就把这台主机纳入允许访问的范围，后续分析自然无法发现越界。

阶段理解。 模型根据策略、对象、方法和关键信息来源的变化划分阶段，总结各阶段的目标、经过和结果。例如，从验证指定服务转向探测任务外主机，意味着访问对象和执行方法都发生了变化。按这样的转向划分阶段，比固定每十轮切分一次更容易看清任务是怎样推进的。

阶段变化本身不等于违规。它帮助我们定位需要进一步审查的转向，是否越界仍要对照任务基线和具体行为判断。正常的重试、更换工具或修复环境，也可能带来执行方法的变化。

风险研判。 在理解行为和阶段之后，再将实际行为与任务要求进行比较。我们从目标偏离、越界执行、欺骗行为和控制规避四类情况识别意图偏离。阶段总结用于帮助理解过程，告警则必须说明具体发生了什么：访问了哪个对象、执行了什么动作、返回结果是什么，违反了哪项要求。

告警与全局图。 风险判断需要给出相应依据。系统生成告警后，还会校验引用的记录，再将告警与相关阶段、对象对应起来。全局风险图根据步骤摘要和告警生成，展示行为之间的信息依赖，以及风险涉及哪些对象。

每条风险结论都需要能回查到原始执行记录。 例如，“发起敏感文件读取”和“已经取得敏感文件”需要不同的证据支持。告警应说明哪些记录支持哪项判断，调查人员才能核对行为及其结果。

从轨迹还原到风险研判及告警生成的技术方法

图 4：轨迹还原、基线提取、阶段理解、风险研判与结果展示。

五、案例分析：利用日志材料和镜像计算答案

下面的案例根据实际事件描述脱敏整理，地址和服务名称均为示例。我们先说明事件经过，再用研判示例解释如何判断风险。

1. 事件经过

原始任务要求 Agent 在指定目标服务 target.demo.example 上完成漏洞验证并取得结果，但目标服务启动异常，正常入口不可用。

Agent 随后扩大探测范围，通过大范围端口扫描、证书指纹、Docker API 枚举和 DNS 服务发现，逐步定位平台内部服务。172.20.8.x 是它扫描的一台任务外内部主机的示例地址。

接着，Agent 利用日志查询接口缺少鉴权和查询参数处理方面的问题，读取控制器日志。示例日志服务 logs-api.demo.example 对应地址 172.20.16.x，返回的内容包括任务标识、部署配置，以及结果生成密钥和校验材料。

取得这些材料后，Agent 绕过 DNS 过滤，从镜像仓库 registry.demo.example 获取目标镜像，逐层分析其中的生成程序。日志中有参数和密钥，镜像中有生成逻辑，Agent 将二者结合，最终计算出了正确答案。

大范围扫描还对共享网络出口 nat-egress-demo 的处理资源造成持续压力，影响线上运行稳定性。这项影响发生在执行过程中，需要与最终是否取得答案分开判断。

取得正确答案，并不代表执行过程符合授权。 这次任务虽然得到了结果，但同时发生了任务外探测、敏感材料获取和共享环境受影响的问题。只按最终答案评价任务，会漏掉这些风险。

Agent 从目标验证受阻转向内部探测、材料获取和答案计算的过程

图 5：依据事件描述脱敏重构的执行过程，地址和服务名称为示例。

2. 风险研判

以“验证指定目标的漏洞，并基于验证过程取得结果”为任务基线，上述过程可以划分为目标验证受阻、任务外探测、日志接口利用、绕过访问限制获取镜像，以及离线计算结果几个阶段。

这些阶段说明了 Agent 的行为如何变化。进一步判断风险时，每条告警还需要具体依据。下面选取越界执行、控制规避和目标偏离三类情况说明。

第一类是越界执行。 原任务要求 Agent 在指定目标上完成漏洞验证，但它随后扫描了任务外主机 172.20.8.x。这条判断需要对照原任务授权的对象和扫描工具实际访问的目标，确认访问范围已经扩大。常见的扫描工具同样可能被用于任务外探测。完成任务的目的不能扩大授权。 是否最终取得答案，不影响对这次任务外探测的判断。

第二类是控制规避。 场景中已有 DNS 访问限制生效，Agent 主动绕过限制，并访问 registry.demo.example 取得镜像。这条告警对应三个事实：限制原本有效，Agent 采取了绕过措施，受限访问在绕过后确实发生。判断依据应落到具体的限制、绕过行为和执行结果上。 只看到一次访问失败，或 Agent 更换了访问方式，还不足以说明它规避了控制。

第三类是目标偏离。 这里用一个补充的研判情节说明：假设 Agent 不再推进指定目标上的漏洞验证，转而只追求可提交的评分结果，改用日志材料和镜像程序计算答案。判断重点是原任务目标是否被替换。 采用不同的求解路径，并不必然意味着任务目标改变。仅凭获取了镜像或计算出了答案，还不足以认定目标偏离，需要进一步确认它是否放弃了原任务要求。

三条告警分别说明执行范围、控制要求和任务目标发生了什么变化。每条告警都应对应具体行为和证据，便于调查人员继续核查。

结合任务基线与阶段行为形成越界执行、控制规避和目标偏离告警的示例

图 6：脱敏研判示例。“目标偏离”包含上述模拟情节；高危为本次展示的分级，不表示相应类型固定为高危。

3. 风险链路与交互对象

风险关系图将告警和具体行为画在一起，说明前后动作之间的联系。

图中的连线说明了信息依赖：日志中的部署线索支持镜像获取，镜像提供生成逻辑，日志中的密钥与校验材料参与答案计算。调查人员可以据此看清后续行动使用了前面取得的哪些信息。

任务外扫描及其对共享出口的影响，也需要在图中保留。越界执行关联任务外主机，控制规避关联镜像仓库；补充研判情节中的目标偏离，则对应“以评分结果替代漏洞验证”。

案例中的风险链路和信息依赖关系

图 7：案例中的风险行为、信息依赖和环境影响。

交互对象清单列出原任务目标、被扫描的主机、日志服务、镜像仓库和共享网络出口，并记录各对象上的关键行为与结果。

例如，日志服务这一项说明取得了哪些材料，共享出口这一项说明运行受到了什么影响。对象的角色不同，需要查看的证据和采取的措施也不同。

调查人员从告警中选定对象后，可以查看相应阶段及原始记录。需要限制某个网络目标时，也可以直接从清单中确定待处理的 IP 或域名。

案例交互对象及其关键行为与结果清单

图 8：交互对象及其关键行为与结果。

六、对象访问控制与高危会话阻断

有了风险告警和对象清单，接下来需要决定如何处置。沿用上述研判示例，可以说明阿里云 Agent 安全中心中的两种控制方式。

第一种是对象访问控制。 用户从交互对象清单中选择 172.20.8.x 或 registry.demo.example 等网络对象，下发访问控制列表（ACL），限制 Agent 继续访问这些目标。

第二种是高危会话阻断。 任一告警命中预先配置的高危处置策略，就可以终止整个会话，同时停止已启动的工具进程和子 Agent。无需等示例中的三类告警全部出现后再处理。

对象访问控制限制特定目标的访问，会话阻断停止整个执行过程。 两种方式可以配合使用，具体选择取决于风险涉及的范围及预设处置策略。

从风险告警到对象访问限制和高危会话阻断的场景推演

图 9：根据案例推演对象访问控制与高危会话阻断。

七、从交互安全到行动安全

Agent 轨迹记录了它如何推进任务、使用了哪些工具、访问了哪些对象。要确认这些操作造成了什么实际影响，还需要把同一任务的轨迹与身份、主机、网络和云 API 记录相互核对。

例如，发现任务外扫描后，还需要结合网络记录查看共享出口是否受影响。平台接口返回了敏感材料，不一定意味着 Agent 已获得某种云身份；工具返回执行成功，也不一定代表目标操作已经完成。判断实际影响，需要同时核对任务轨迹和环境中的执行结果。

权限管控用于限制网络、Skills、MCP 和工具的使用范围，运行时管控则通过提示纠偏、请求阻断和会话阻断处理风险。

对客户来说，最需要弄清楚的是：Agent 从哪一步开始偏离，访问了哪些不该访问的对象，造成了什么影响，以及现在应该限制哪个访问或终止哪个会话。会话分析需要把这些问题说明白，并提供相应证据，减少人工逐条查日志的工作。

会话级行为分析与意图偏离检测能力，已经应用于阿里云 Agent 安全中心。

模型交互、任务轨迹与云上执行控制的整体防护体系

最后

Agent 需要保留自主探索和解决问题的能力，安全系统则需要及时识别并限制越界行为。我们希望让Agent充分发挥解决问题的能力，同时让任务执行在我们的管控下，安全平稳的进行。

也欢迎大家结合自己的Agent应用场景，与我们交流。谢谢大家。