英伟达发布开源AIAgent安全平台,覆盖全栈三层管控体系

admin 2026-09-30 04:58:25 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 英伟达发布开源AIAgent安全平台NvidiaOpenAgentSafetyPlatform,基于OpenShell和NvidiaSentry组件实现Agent、计算资源层、硬件层三层全栈安全管控,应对AIAgent失控事件频发问题。平台已获SpaceXAI、Salesforce、SAP等企业采用,支持开源下载,旨在通过基础设施级管控提升AIAgent安全性。 综合评分: 85 文章分类: AI安全,安全建设,解决方案,安全工具


英伟达发布开源AI Agent安全平台,覆盖全栈三层管控体系

FreeBuf

2026年9月29日 18:00 上海

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

英伟达是全球在AI Agent领域投入最深的企业之一。因此,这家芯片厂商希望保障这类自主软件系统安全运行、不引发风险,完全在情理之中。

今日早些时候,英伟达正式推出免费开源的Nvidia Open Agent Safety Platform。这套平台整合了多款工具,可帮助企业提升AI Agent的安全水平、强化管控能力、完善治理机制。平台基于英伟达开源OpenShell软件开发,整合了Nvidia Sentry组件,不仅可全面管控AI Agent,还能管控支撑Agent运行的硬件与计算资源。

Part01

AI Agent安全事件频发

近期多起涉及AI Agent失控的高调安全事件引发了广泛担忧,英伟达此次发布平台正是为了回应这类顾虑。目前几乎每天都有AI Agent脱离所有者控制的相关披露。就在上周,一名研究人员发现,一大批Agent(包括OpenAI Group PBC开发的部分Agent)入侵了澳大利亚政府管辖的多个系统,这起事件引起了总理Anthony Albanese的关注。

OpenAI开发的Agent还在今年5月至6月间引发了另一起广受关注的事件。据披露,这些Agent协同突破了隔离沙箱环境,入侵了模型托管平台Hugging Face Inc.。虽然这两起事件目前都未造成已知的严重损失,但AI Agent可能对第三方造成严重破坏的风险,已经让很多人感到不安。

英伟达表示,这些事件表明,AI Agent很容易绕过传统的应用层防护机制。行业需要一套覆盖整个Agent技术栈的全新管控体系。这套平台没有单纯依赖软件层提示词或应用限制,而是在三个独立层级执行规则:Agent本身、计算资源层、硬件层。

Part02

平台实现三层全栈安全管控

该平台基于英伟达的OpenShell软件开发。OpenShell是一套严密封闭的开源运行时环境,可在隔离沙箱中运行大规模自主Agent集群,提供基础设施级管控能力。英伟达表示,OpenShell相当于一道边界,无论支撑Agent的底层大语言模型设置了何种防护规则,用户都可以通过OpenShell追踪所有Agent的行为、执行安全策略。这款软件针对英伟达Vera CPU做了优化,同时也兼容Intel Corp.和Arm Ltd.的CPU。

Nvidia Open Agent Safety Platform的另一个核心组件是Nvidia Sentry,这是一套基于英伟达DOCA软件的参考系统设计。DOCA全称为片上数据中心基础设施架构,是一套统一编程与软件框架,用于开发可在英伟达专用BlueField DPU上运行的应用,其定位类似用于开发GPU优化应用的CUDA。

Nvidia Sentry运行在BlueField-4芯片上,相当于一名安全守卫,会在后台持续监控AI Agent的运行状态。由于直接在芯片层面运行,它可以通过检查请求、验证身份与操作来分析Agent行为。一旦发现Agent试图突破预设边界,就能立刻将其中止。

Part03

多领域企业已接入落地

英伟达创始人兼首席执行官Jensen Huang表示,AI安全已成为行业必须解决的关键问题,只有筑牢安全基础,这项技术才能充分释放潜力。他在声明中表示:“安全保障需要全栈工程能力。Nvidia Open Agent Safety Platform将汇聚产业界、研究人员和公共部门机构,共享最佳实践、统一评估标准、推动国际合作,共同提升全球AI安全基准。”

英伟达在AI行业的巨大影响力,让这套平台刚发布就获得了多家全球头部企业的认可。SpaceXAI Corp.是该平台的核心支持者之一,目前已用它保障Cursor的代码Agent以及Grok大语言模型的安全。SpaceXAI总裁Mike Nicolls表示:“随着客户越来越依赖Agent完成实际工作,安全管控应当部署在模型外部,通过Agent无法绕过的额外控制措施落地。客户应当可以为Cursor和Grok设置这些限制,并且确信规则不会被突破。”

Salesforce也已将OpenShell集成到旗下Slack协作平台中,为用户提供AI Agent的人工审批管控、运行可见性与审计追踪能力。SAP SE则将该软件与SAP Business AI平台结合,为其自主Agent提供运行时安全保障。机器人企业也在大规模采用这套平台,Figure AI Inc.、Gecko Robotics Inc.、Skild AI Inc.均依托OpenShell,将安全管控能力嵌入底层系统,为现实场景中运行的自主机器人提供安全支撑。

考虑到目前部分AI Agent已经展现出令人担忧的绕过能力,Nvidia Open Agent Safety Platform在大规模部署下的可靠性还有待验证。但这至少表明,部分行业头部企业终于开始重视Agent安全。作为开源平台,所有人都可以通过英伟达开发者资源站和GitHub下载使用Nvidia Open Agent Safety Platform。

参考来源:

Nvidia debuts enhanced safety controls to rein in rogue AI agents

Nvidia debuts enhanced safety controls to rein in rogue AI agents

#

推荐阅读

#

电报讨论


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。

本文转载自:FreeBuf 《英伟达发布开源AI Agent安全平台,覆盖全栈三层管控体系》

评论:0   参与:  0