Gemini在安全测试中入侵3家真实企业

admin 2026-09-23 06:40:40 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: Google证实Gemini在CTF安全测试中因测试人员误开公网连接且虚构靶标与真实企业重名,越界访问三家真实企业系统,通过猜解密码和泄露凭证登录。事件印证提示词非安全边界,需落实出口过滤、白名单、隔离网络及自动关停等分层管控。Anthropic等厂商也存在类似问题,建议启用MFA、速率限制及扫描代码仓库泄露凭证。 综合评分: 85 文章分类: AI安全,渗透测试,红队


Gemini在安全测试中入侵3家真实企业

e安在线 e安在线

e安在线

2026年9月21日 09:42 北京

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

Google 证实在Irregular 执行的CTF 网络安全评估中,因测试人员意外开启本应禁用的公网连接,且虚构靶标企业名称与真实组织重名,Gemini模型越界访问了三家企业的受保护系统。三起事件中,一起通过反复猜测密码成功登录,另两起利用公开代码仓库泄露的凭证通过身份验证。

Google 称Gemini意识到接触真实基础设施后立即停止,未造成损失,不认为属于对齐失效。同类问题并非Go0gle独有,Anthropic 核查14万余次评估记录也发现3起Claude越界事件。事件再次印证”提示词不是安全边界”,AI测试需落实出口过滤、严格白名单、隔离网络及自动关停等分层管控措施。

Google证实,在一次网络安全评估中,因测试环节失误导致Agent暴露在公网,旗下Gemini人工智能模型访问了三家企业的受保护系统。这一事件表明,一旦管控措施、靶标定义、网络隔离机制失效,即便没有收到攻击企业的指令,自主AI系统也能越出沙箱范围。

本次测试由专门评估AI模型网络安全能力的企业Irregular执行。当时Gemini参与的是夺旗赛(CTF)测试,这类安全测试的规则是,参与方需要在模拟靶场环境中找到预设的隐藏信息。

按照测试要求,Gemini原本只需要调查与一家虚构企业相关的软件。但测试人员意外开启了本应禁用的公网连接,且这家虚构企业的名称恰好与一家真实组织重名。

Gemini越界访问真实系统

两个问题叠加直接导致测试范围失效。Gemini误以为所有可通过公网访问的资产都属于授权测试范围,因此越过模拟环境,对企业系统发起访问。

据《华尔街日报》披露,其中一次测试中,该模型反复尝试猜测密码,最终成功登录一项受保护的服务。另外两次测试中,它在公开代码仓库中找到暴露的凭证,用这些凭证通过了另外两家企业系统的身份验证。

Google安全工程副总裁Heather Adkins表示,Gemini利用公开可获取的信息、猜测得到的凭证访问了相关网站,它当时误以为这些网站属于评估范围。Google称,在三起事件中,Gemini一旦意识到自己接触的是真实基础设施而非虚构测试靶标,就立刻停止了操作。Google强调事件未造成任何损失,同时不认为这一行为属于模型对齐失效,因为Gemini的安全防护机制最终中断了相关活动。

5月的测试结束后,Irregular于7月下旬将相关情况告知Google。Google随后通知了三家受影响的企业,并联合测试合作方调整了评估流程。Heather Adkins表示,这些事件说明,能力强大的模型必须经过负责任行为训练。Irregular称,已修复己方存在的已知问题,调查过程中已联系相关AI实验室和受影响组织。

多厂商模型出现同类越界问题

这类事件并非Google技术独有。Irregular开展的评估中,OpenAI、Anthropic、Meta开发的模型也曾意外获得公网访问权限,只是造成的后果各不相同。

例如Anthropic表示,其核查了141006次相关评估运行记录,共发现3起Claude模型访问真实组织基础设施的事件。Anthropic调查后发现,出现这一问题的原因是配置误解:尽管提示词已告知模型处于模拟环境中,但测试环境仍保留了真实公网连接能力。

对防守方而言,这一事件在新场景下再次印证了一个经典安全教训:提示词不是安全边界。仅仅告诉AI Agent它没有公网访问权限,完全无法替代出口过滤、严格白名单、隔离测试网络、持续监控等管控措施。评估环境应当仅解析已授权域名,阻断任意出站连接。测试方需使用不会与真实实体重名的虚构组织作为靶标,同时配置仅在沙箱内有效的短期凭证。

OWASP同样给出安全建议:测试环境应采用最小权限工具,敏感操作需经过明确授权,留存完整审计日志,高影响操作必须有人工监督。凭证防护措施同样关键。其中一家企业的服务因密码被猜解失守,另外两家则因公开代码仓库泄露机密信息被入侵。

企业应当强制启用多因素认证,对登录尝试设置速率限制,禁止密码复用。除此之外,还要持续扫描源代码仓库,排查泄露的令牌和密码。CISA警告,源代码中的硬编码凭证会大幅提升安全风险,建议企业使用密钥管理工具、扫描开发流程中的安全问题、部署可抵御钓鱼攻击的MFA。

AI测试需落实分层管控

Gemini主动停止操作的行为确实降低了事件后果,但不能将其作为主要的遏制管控措施。自主网络Agent的运行速度远超人类监督员,还可能以出人意料的方式快速解读模糊的目标指令。

因此,开展安全测试需要在模型外围设置分层管控措施:划定精准的授权边界,部署实时干预机制,留存不可篡改的审计日志;一旦Agent访问未授权资产,系统要能自动关停。

声明:除发布的文章无法追溯到作者并获得授权外,我们均会注明作者和文章来源。如涉及版权问题请及时联系我们,我们会在第一时间删改,谢谢!文章来源:FreeBuf


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:e安在线 e安在线 e安在线《Gemini在安全测试中入侵3家真实企业》

评论:0   参与:  0