厦门市智能存储与计算重点实验室软件系统安全课题组的一项研究成果被FSE26录用

admin 2026-01-22 00:01:31 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 厦门大学软件安全实验室关于验证大语言模型生成SQL查询的研究获FSE2026录用。该研究针对NL2SQL中的意图违背型幻觉,提出基于变形测试的MetamorphicPrompting方法及MRSQLGen框架。通过主动改写提示并利用执行结果一致性进行交叉验证,该方法有效检测了语义偏差,在无需真实答案的情况下显著优于现有方案,提升了大模型生成代码的可靠性。 综合评分: 85 文章分类: AI安全,安全开发,漏洞分析,数据安全,应用安全


cover_image

厦门市智能存储与计算重点实验室软件系统安全课题组的一项研究成果被FSE26录用

信息网络安全杂志

2026年1月21日 17:01 上海

厦门大学软件安全实验室的一项研究成果被软件工程领域内最有影响力的会议之一 34th ACM International Conference on the Foundations of Software Engineering, FSE 2026(CCF-A)录用。FSE大会是一个享誉国际的学术论坛,面向研究人员、工业界从业者和教育工作者,旨在展示和讨论软件工程领域中最新的创新成果、发展趋势、实践经验与关键挑战。FSE 汇聚了来自学术界和工业界的专家,交流软件工程各个方向的前沿研究成果与发展动态,并探讨这些成果在实际工程中的应用。

录用论文

Validating LLM-Generated SQL Queries Through Metamorphic Prompting

作者:

Li Lin (Xiamen University) Qinglin Zhu (Xiamen University) Jintai Hong (Xiamen University) Chong Wang (Nanyang Technological University)

Yang Liu (Nanyang Technological University)

Rongxin Wu* (Xiamen University)

论文简介:

这篇论文中,我们关注的是大语言模型 (LLM) 在 NL2SQL 场景下面临的一类关键可靠性问题——意图违背型幻觉。这类错误生成的 SQL 在语法和执行层面完全正确,但在语义上偏离了用户的真实查询意图,往往会返回误导性的结果。我们指出,现有方法要么依赖真实 SQL 作为参照(如基准测试),要么只能发现语法或模式层面的错误,或依赖模型置信度与多次采样,这些假设在真实应用中往往难以满足,因此难以有效识别此类隐蔽幻觉。

为解决这一问题,我们提出了一种基于变形测试思想的幻觉检测方法——Metamorphic Prompting(MP)。我们的核心观察是:当对输入的自然语言查询进行受控的意图保持或轻微扰动式改写时,正确的 SQL 生成应当在行为层面保持一致,而包含幻觉的 SQL 往往会在这些变形下暴露出执行结果的不一致。与被动地对同一提示进行多次采样不同,MP 通过主动改写提示,引导模型沿不同推理路径生成 SQL,从而更容易揭示隐藏的意图偏离问题。

基于这一思想,我们实现了 MRSQLGen 框架,包括两个核心模块:其一是 Prompt Paraphrasing,我们通过系统性实证分析构建了幻觉知识库(HKB),并利用相似度检索机制,为每个查询选择最相关的变形规则生成变形提示;其二是 Cross Validation,我们在同一数据库上执行原始与变形 SQL,并通过多数一致性策略检测是否违反变形关系。我们在 Spider 和 BIRD 基准以及多个主流 LLM 上进行了广泛实验,结果表明 MRSQLGen 在幻觉检测的精确率、召回率和 F1 值上均显著优于现有方法,验证了该方法在无需真实答案和模型内部信息条件下的有效性与实用性。

来源:XMU 软件系统安全课题组

信息网络安全

《信息网络安全》创刊于2001年,是由公安部主管,公安部第三研究所、中国计算机学会主办,面向国内外公开发行的国内首批信息安全类期刊之一,于2015年成为中国科技核心期刊,2017年成为中国科学引文数据库来源期刊,2018年成为中文核心期刊,2022年入选CCF计算领域高质量科技期刊分级目录。

中文核心期刊

中国科技核心期刊

中国科学引文数据库来源期刊

CCF计算领域高质量科技期刊

我们在不断努力和完善中,期待您的关注和支持!


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:信息网络安全杂志 《厦门市智能存储与计算重点实验室软件系统安全课题组的一项研究成果被FSE26录用》

评论:0   参与:  0