美海军最新研究:将二进制文件变成AI逆向的提示注入武器

admin 2026-07-15 05:06:19 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 美海军研究揭示二进制级提示注入攻击:攻击者不改代码,仅嵌入特殊字符串即可误导AI逆向工具输出虚假报告。研究用遗传算法优化载荷绕过限制。防御上规则检测易失效,建议结合机器学习、输入隔离与人工复核构建体系防护。该发现表明二进制已成AI认知新攻击面。 综合评分: 86 文章分类: AI安全,逆向分析,二进制安全,漏洞分析,安全建设


cover_image

美海军最新研究:将二进制文件变成AI逆向的提示注入武器

原创

Owllntel Owllntel

猫头鹰OSINT

2026年7月14日 17:00 四川

在小说阅读器读本章

去阅读

当人工智能开始进入网络安全领域,安全人员曾期待大模型成为分析恶意代码、破解未知程序、辅助逆向工程的新型“智能助手”。

然而,美国海军研究生院近期的一项研究揭示了一个新的安全风险:攻击者可能不需要修改程序功能,也不需要植入传统恶意代码,仅通过在二进制文件中隐藏一段特殊字符串,就能诱导AI逆向分析工具产生错误判断。

这意味着,未来安全人员面对的不仅是“恶意程序”,还可能是能够主动欺骗AI分析系统的“智能化程序”。

研究人员提出了一种新的攻击方式:二进制级提示注入攻击。该攻击将原本主要存在于网页、文档、聊天内容中的提示注入技术,扩展到了软件二进制文件领域,使程序本身成为攻击AI模型的载体。

相关研究由美国海军研究生院团队完成,他们发表了两篇相关论文:

  • 《针对软件逆向工程 AI 智能体的自动化攻击》

  • 《针对软件逆向工程 AI 智能体的提示词注入攻击之检测与混淆研究》

前者重点展示如何利用提示注入攻击AI逆向工程代理,后者则针对检测和防御方法展开研究。

研究结果表明,在结合Ghidra、GhidraMCP以及大语言模型后,攻击者可以让AI系统“误读”程序行为,并生成与真实代码完全不符的分析报告。

不改变代码功能只改变AI看到的信息

传统软件攻击通常依赖修改代码逻辑,例如植入恶意函数、修改执行流程、隐藏后门或改变程序行为。

但此次研究展示了一种完全不同的攻击思路:攻击者不需要改变程序运行结果,只需要改变AI理解程序的方式。

研究人员在普通C语言程序中加入一个字符串变量,这个字符串变量本身不会影响程序执行,也不会改变程序功能,程序编译后依然可以正常运行。

例如,一个简单程序在运行时仍然输出“Hello World!”,但是,当安全人员使用AI辅助逆向工具分析该二进制文件时,隐藏的字符串会随着反编译结果进入大语言模型上下文。

此时,AI看到的不再只是代码,而是一段来自攻击者的隐藏指令。

攻击者可以通过这些字符串告诉AI“忽略之前的分析结果”、“重新解释当前代码”或者“认为这个程序执行的是另一种功能”,最终让大模型按照攻击者设计的方向进行推理。

Ghidra与AI结合,暴露新的攻击入口

此次攻击之所以受到关注,与当前安全行业快速采用AI逆向分析工具有关。

Ghidra作为广泛使用的开源逆向工程平台,被大量安全研究人员用于分析未知二进制文件。随着大语言模型能力提升,越来越多安全工具开始尝试将Ghidra与AI代理结合。

典型流程是:Ghidra负责反编译二进制文件;工具接口负责提取函数、字符串和代码结构;AI模型负责理解代码并生成分析报告。这种模式极大提升了分析效率,过去需要人工花费数小时甚至数天完成的逆向任务,AI可能在几分钟内完成初步判断。

但问题也随之出现:AI并不是直接执行代码,而是在理解文本化后的代码信息。这意味着,只要攻击者能够影响AI接收到的信息,就可能影响最终分析结果。研究人员发现,Ghidra对字符串变量存在一个关键限制,即当字符串长度超过2048个字符时,部分内容会被截断。

因此,攻击者无法简单插入长篇提示,而必须设计短小、高效的攻击载荷。为解决这一问题,研究团队修改了AutoDAN攻击方法,引入遗传算法自动生成提示字符串。算法不断优化攻击文本,使其能够在有限字符范围内保持有效、降低被检测概率,并最大程度影响模型输出。最终,他们成功生成了一批能够欺骗AI逆向代理的提示注入样本。

AI被“煤气灯操控”,一本正经输出错误结论

这一系列实验结果表明,这种攻击具有极强的迷惑性。受攻击后的AI不会表现出任何明显异常,更不会提醒用户自己可能受到了攻击;相反,它会像正常分析一样生成报告,并且表现得高度自信。

在研究人员展示的典型案例中,一个实际功能只是输出“Hello World”的程序,被AI分析为“该程序用于生成前10个斐波那契数列”;另一个负责检查文件存在并创建文件的程序,则被AI误判为“这是一个执行两个数字求和操作的函数”。更加危险的是,AI不仅会给出错误结论,还会围绕错误信息继续推理。错误输入导致错误理解,错误理解形成错误推理,错误推理最终生成错误安全报告。安全社区将这种现象形象地形容为AI正在被“煤气灯效应”——模型并不是简单犯错,而是在错误信息基础上坚定地相信自己的判断。

二进制文件正在成为新的AI攻击面

过去,提示注入攻击主要针对网页内容、邮件文本、文档文件、数据库数据,攻击者通过控制输入内容影响AI模型。但此次研究显示,这种攻击正在向软件供应链和二进制文件领域扩展。

这种攻击的蔓延,意味着二进制文件正在成为一种全新的攻击媒介。未来,一个程序可能同时具备两种属性:对人类用户而言,它执行正常功能;对AI分析系统而言,它隐藏恶意指令。研究人员指出,对于依赖LLM进行自动化分析的安全系统而言,这类攻击尤其危险。因为人工分析人员通常会对异常内容保持警惕,但自动化AI代理往往默认相信工具输出,并根据已有上下文继续推理。一旦输入环节被污染,整个分析流程都可能被误导。

防御AI逆向工具,需要从检测走向体系化防护

面对这种新型攻击,美国海军研究团队进一步研究了防御方案并测试了两类检测方式。

第一类是基于规则的检测方法,例如寻找反编译结果中是否存在类似AI系统提示格式、检测可疑关键词、匹配隐藏指令结构等。这种方法简单直接,但缺陷明显,攻击者只需要修改字符形式或者加入混淆内容就可能绕过检测。

第二类方法则利用机器学习进行检测。研究团队采用Qwen3-1.7B模型提取字符串特征,再训练分类网络判断其是否包含恶意提示。实验结果显示,机器学习检测方法明显优于传统规则。但研究也发现,攻击者同样可以利用特殊字符、字符串截断、提示变形和自动化生成算法,不断提高攻击隐蔽性。

因此,未来AI逆向工程系统不能依靠单一检测机制。研究人员建议,应建立多层防御体系,包括:

  • 输入内容隔离

  • 反编译结果安全过滤

  • AI上下文保护

  • 多模型交叉验证

  • 人工复核机制

AI安全分析进入新的攻防阶段

这项研究并不是否定AI在网络安全领域的价值。相反,它说明AI正在成为安全体系的重要组成部分,也意味着新的攻击面正在出现。过去,攻击者需要挖空心思隐藏恶意代码;未来,攻击者可能只需要隐藏一句话。一个看似普通的字符串,一个正常运行的程序,都可能成为影响AI判断的“特洛伊木马”。

随着越来越多安全机构、企业和政府部门采用基于大模型的逆向分析工具,如何确保AI看到的信息真实可靠,将成为新的安全挑战。未来的网络攻防,可能不仅是攻击者与代码之间的较量,更是攻击者与AI认知系统之间的博弈。当程序开始学会“欺骗AI”,人工智能安全分析体系也必须重新思考一个问题:我们究竟是在让AI理解代码,还是在让代码影响AI?

参考信息:《Automatically Attacking Software Reverse Engineering AI Agents》


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:猫头鹰OSINT Owllntel Owllntel《美海军最新研究:将二进制文件变成AI逆向的提示注入武器》

评论:0   参与:  0