第132期|GPTSecurity周报

admin 2026-01-28 06:57:44 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 本期周报汇总七项LLM安全研究。涵盖NOIR隐私保护代码生成框架、生成式应用防火墙GAF、本地模型循环漏洞检测、DDoS溯源智能体Holmes、自动化漏洞修复VulnResolver、硬件代码安全基准HardSecBench及提示词注入缓解方案。内容涉及隐私计算、漏洞检测修复及应用安全,提供了前沿视角与解决方案。 综合评分: 90 文章分类: AI安全,漏洞分析,代码审计,安全工具,数据安全


cover_image

第132期 | GPTSecurity周报

原创

知识分享者 知识分享者

安全极客

2026年1月27日 17:35 北京

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区,集成了生成预训练Transformer(GPT)、人工智能生成内容(AIGC)以及大语言模型(LLM)等安全领域应用的知识。在这里,您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令(Prompts)。现为了更好地知悉近一周的贡献内容,现总结如下。

Security Papers

  1. NOIR:基于开源大语言模型的隐私保护代码生成框架

简介:尽管基于大语言模型(LLM)的代码生成技术能显著提升软件开发效率,但该技术也带来了知识产权与数据安全方面的风险 —— 核心原因在于,服务提供方(云服务端)能够获取到客户的提示词以及生成的代码,而这些内容在商业系统中往往具备专有属性。

为缓解这一问题,本研究提出了NOIR 框架,这是首个能够保护客户提示词与生成代码免遭云服务端窥探的解决方案。NOIR 在客户端部署编码器与解码器:客户端先通过编码器将提示词转化为嵌入向量并发送至云服务端,再由云端大语言模型对该向量进行增强处理,最后将增强后的嵌入向量返回至客户端,由解码器在本地完成代码生成。

考虑到云服务端可能利用嵌入向量反向推断提示词与生成代码的内容,NOIR 设计了一套全新的隐私保护机制:其一,在提示词与代码所使用的词汇表层面,实现了基于令牌嵌入级别的本地差分隐私保护,达成 “不可区分性” 效果;其二,在客户端部署了与数据无关的随机令牌化工具。上述组件能够有效抵御 “诚实但好奇” 的云服务端发起的重构攻击与频率分析攻击。

基于开源大语言模型开展的大量分析与实验结果表明:在强隐私保护条件下,NOIR 在各项基准测试中的表现显著优于现有基线模型。具体而言,在 Evalplus 基准测试(包含 MBPP 与 HumanEval 两个子任务)中,NOIR 的首试通过率分别达到76.7% 与77.4%;在 BigCodeBench 基准测试中,其首试通过率为38.7%,相较于原始大语言模型仅下降1.77%。

链接:

https://arxiv.org/abs/2601.16354

  1. 生成式应用防火墙(GAF)技术介绍

简介:本文提出了生成式应用防火墙(GAF),这是一种用于保障大语言模型(LLM)应用安全的新型架构层。现有的防护手段 —— 包括提示词过滤器、安全护栏与数据掩码技术 —— 仍处于零散割裂的状态;GAF 将这些防护手段整合为单一执行控制点,其作用模式类似于 Web 应用防火墙(WAF)对网络流量防护措施的协调管控,同时还可覆盖自主智能体及其工具调用交互过程。

链接:

https://arxiv.org/abs/2601.15824

  1. 基于提示词的本地大语言模型循环漏洞检测框架

简介:循环漏洞是软件开发中一类高风险的代码构造问题。这类漏洞极易引发无限循环或异常持续执行、资源耗尽,或引入导致性能下降、安全性受损的逻辑错误。传统静态分析工具往往无法检测到这类问题 —— 究其原因,这类工具依赖语法模式进行检测,难以识别语义层面的缺陷。

而大语言模型(LLMs)具备代码上下文理解能力,为漏洞检测提供了新的可能性。此外,与 ChatGPT、Gemini 等商用大语言模型不同,本地大语言模型可支持高效的离线分析,能有效解决隐私、延迟及第三方依赖等问题。

基于此,本研究提出了一套基于提示词的框架,专门利用本地大语言模型检测 Python 3.7 及以上版本代码中的循环漏洞。该框架聚焦三类循环相关问题:控制与逻辑错误、循环内安全风险、资源管理低效问题。

研究团队设计了一套通用化、结构化的基于提示词的框架,并在两款本地部署的大语言模型(LLaMA 3.2;30 亿参数版、Phi 3.5;40 亿参数版)上完成测试 —— 测试过程中通过迭代式提示引导模型的检测行为。该框架内置了多项核心防护 / 优化特性:特定语言感知能力、代码感知锚定、版本敏感性、幻觉抑制。

研究人员基于人工构建的基准真值对模型检测结果进行验证,结果显示:Phi 模型在精确率、召回率及 F1 值上的表现均优于 LLaMA 模型。研究结论强调,为本地大语言模型设计高效的提示词,对于实现安全、准确的代码漏洞分析至关重要。

链接:

https://arxiv.org/abs/2601.15352

  1. Holmes:一款用于云网络可审计DDoS攻击溯源的证据锚定式大语言模型智能体

简介:云环境因资源集中化、攻击面广泛的特性,正面临频繁的分布式拒绝服务(DDoS)攻击威胁。现代云原生 DDoS 攻击手段演进迅速,且常采用多载体协同攻击策略,这就形成了一个运维困境:防御人员既需要线速级监控能力,又需要具备可解释、可审计的攻击溯源能力以开展响应处置。现有的基于规则与监督学习的检测方案,往往只能输出黑盒化的评分或标签,提供的证据链十分有限,对未知攻击变种的泛化能力较差;与此同时,在云环境中获取高质量的标注数据通常难度较高。

本文提出了Holmes,即 DDoS 攻击侦查智能体,一款基于大语言模型(LLM)的 DDoS 检测智能体。该方案并未将模型设计为端到端的分类器,而是将其重构为一个虚拟的站点可靠性工程师(SRE)攻击侦查角色。福尔摩斯整合了一套漏斗式分层工作流(通过计数器与采样流技术实现持续感知与优先级分流;仅在检测到异常窗口期时才触发数据包捕获(PCAP)证据采集),并搭载了证据包抽象层,可将二进制数据包转换为简洁规范、可复现、高信息密度的结构化证据。基于这一证据交互接口,福尔摩斯遵循 “结构优先” 的侦查协议,并施加严格的 JSON 格式与引用约束,最终生成可被机器解析、且带有可审计证据锚点的攻击溯源报告。

研究团队基于 CICDDoS2019 数据集的反射 / 放大攻击场景,以及脚本触发的泛洪攻击场景对福尔摩斯进行了测试。结果表明:该智能体针对各类攻击家族均可输出锚定关键证据的攻击溯源结论;即便出现检测错误,其审计日志也能快速定位故障根源。这一成果验证了大语言模型智能体在云运维场景中,实现低成本、可追溯的 DDoS 攻击侦查的实际可行性。

链接:

https://arxiv.org/abs/2601.14601

  1. VulnResolver:一款基于大语言模型的自动化漏洞修复混合智能体框架

简介:随着软件系统的复杂度不断提升,安全漏洞的出现频率也日益增高,带来了严重的安全风险与经济损失。尽管模糊测试工具等自动化检测技术已取得长足发展,但漏洞的有效修复仍往往依赖人工专业经验。现有自动化漏洞修复(AVR)方案严重依赖人工提供的标注信息(如故障定位、通用缺陷枚举(CWE)标签等),而这类标注的获取不仅难度大,还耗时费力;同时,这些方案还忽略了开发者提交的漏洞报告中所蕴含的丰富原生语义上下文信息。

本文提出了漏洞解决者(VulnResolver)—— 首款基于大语言模型的自动化漏洞修复混合智能体框架。该框架通过两款专用智能体,将自主智能体的自适应能力与工作流引导式修复的稳定性进行有机融合。其中,** 上下文预采集智能体(CPCAgent)** 可自适应地检索代码仓库,采集项目依赖与上下文信息;** 安全属性分析智能体(SPAAgent)** 则负责生成并验证漏洞所违反的安全属性。两款智能体协同输出结构化分析结果,对原始漏洞报告进行信息增强,从而实现更精准的漏洞定位与补丁生成。

研究团队基于 SEC-bench 基准测试集开展验证实验,结果显示:VulnResolver 在 SEC-bench 精简版测试集中的漏洞修复成功率达到75%,取得了最优的漏洞修复效果;在 SEC-bench 完整版测试集中,该框架的表现也显著优于当前性能最佳的基线模型 —— 智能体架构的 OpenHands,充分验证了自身的有效性。总体而言,VulnResolver 构建了一套兼具自适应性与安全感知能力的框架,依托稳定的工作流机制,以及专用智能体在上下文推理与属性分析方面的能力,推动端到端自动化漏洞修复技术实现进一步发展。

链接:

https://arxiv.org/abs/2601.13933

  1. HardSecBench:面向硬件代码生成的大语言模型安全感知能力基准测试

简介:大语言模型(LLM)正被日益广泛地整合至实际的硬件与固件开发流程中,用于辅助代码生成工作。现有研究主要聚焦于评估大语言模型生成代码的功能正确性,却对其中潜藏的安全问题关注甚少。然而,部分大语言模型生成的代码尽管功能层面无虞,却可能嵌入安全缺陷,这类缺陷在代码部署后极易引发灾难性后果。这一关键的研究缺口,促使研究者设计了一套基准测试方案,用以在真实的开发规范下评估大语言模型的安全感知能力。

本研究提出了硬件安全基准测试集(HardSecBench),该基准共包含 924 项测试任务,覆盖 Verilog 寄存器传输级(RTL)代码与固件级 C 语言代码两大类型,涉及 76 项与硬件相关的通用缺陷枚举(CWE)条目。每项测试任务均配备结构化开发规范、安全的参考实现方案以及可执行的测试用例。为实现测试工件的自动化生成,研究者设计了一套多智能体流水线方案,将代码生成与验证流程解耦,并以可执行的测试证据为依据开展评估,保障了评估结果的可靠性。

研究团队基于 HardSecBench,对多款大语言模型在硬件与固件代码生成场景下的表现展开评估。结果表明,这些模型往往能够满足功能层面的需求,但生成的代码仍会残留安全风险;同时,模型的安全表现还会随提示词的不同而产生差异。上述研究结论揭示了大语言模型辅助硬件设计领域亟待解决的关键挑战,并为该领域未来的技术发展提供了切实可行的参考思路。相关的数据集与代码将尽快对外发布。

链接:

https://arxiv.org/abs/2601.13864

  1. 基于智能体式人工智能、嵌套学习及语义缓存实现AI可持续性的提示词注入缓解方案

简介:提示词注入始终是大语言模型安全部署的核心障碍,在多智能体场景中尤为突出 —— 此类场景下,中间输出结果可能传播甚至放大恶意指令。本研究以先前提出的四指标总注入漏洞评分(TIVS) 为基础,对评估框架进行扩展:新增基于语义相似度的缓存机制与第五项指标(可观测性评分比),形成TIVS-O 评分体系,旨在探究受 HOPE 架构启发的嵌套学习模型中,防御有效性与系统透明度之间的关联机制。

该方案构建了一套整合智能体流水线与连续内存系统的技术架构:连续内存系统针对源自 10 类攻击家族的 301 条合成提示词注入攻击样本,实现基于语义相似度的缓存功能;同时,由第四个智能体负责结合 5 项核心性能指标开展全面安全分析。除传统注入攻击评估指标外,可观测性评分比(OSR) 能够量化各智能体输出的安全相关推理内容的丰富度与清晰度,从而支持对 “严格防御” 与 “可审计性” 之间的权衡关系进行显性分析。

实验结果表明,该系统可实现零高风险漏洞突破的安全响应效果;同时,语义缓存技术带来了显著的算力成本节约,使大语言模型调用次数减少41.6%,并相应降低了系统延迟、能耗与碳排放。5 种不同的 TIVS-O 配置方案验证了防御严格程度与取证透明度之间的最优权衡关系。上述研究结论揭示:融入可观测性的评估方法,能够发现多智能体流水线中存在的非单调效应;借助内存增强型智能体,无需修改底层模型权重,即可同时实现安全稳健性、实时性能、运营成本节约与环境可持续性的最大化,为大语言模型的安全、绿色部署提供了一套可直接落地的实施方案。

链接:

https://arxiv.org/abs/2601.13186

-End-


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:安全极客 知识分享者 知识分享者《第132期 | GPTSecurity周报》

第132期|GPTSecurity周报 网络安全文章

第132期|GPTSecurity周报

文章总结: 本期周报汇总七项LLM安全研究。涵盖NOIR隐私保护代码生成框架、生成式应用防火墙GAF、本地模型循环漏洞检测、DDoS溯源智能体Holmes、自动
穿女装有助于程序员码力 网络安全文章

穿女装有助于程序员码力

文章总结: 本文是一篇无实质技术内容的娱乐推文,通过调侃穿女装能提升程序员代码能力的荒诞话题吸引眼球。文中并未提供任何编程技巧或安全知识,仅包含图片占位符、免责
评论:0   参与:  0