AI查重系统频“误判”,学生何时能自证清白?中山大学、东南大学网安学者揭露检测系统技术困局与出路

admin 2026-01-23 12:33:04 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 本文剖析了AI查重系统频发误判的技术困局,指出当前中文学术文本检测研究稀缺且鲁棒性不足。专家建议提升检测器可解释性以保障申诉权,强调技术仅提供辅助,最终裁决权应回归人类,审稿人角色需向创新价值裁决转变。 综合评分: 82 文章分类: AI安全


cover_image

AI查重系统频“误判”,学生何时能自证清白?中山大学、东南大学网安学者揭露检测系统技术困局与出路

原创

信息网络安全杂志 信息网络安全杂志

信息网络安全杂志

2026年1月22日 17:03 上海

人类写的论文被AI生成检测工具判定为AI撰写的时候,斯坦福大学却决定举办一场“第一作者必须是AI”的学术会议,尽管斯坦福大学表示,举办这场学术会议的根本目的在于探究AI智能体进行科学探究的能力,但对于学术期刊、顶会来讲,更关注的依然是如何正确地确定AI在科学研究中的参与度。因此,目前的检测技术发展到哪一步了?

相关阅读:用AI“写”论文算作弊吗?中山大学、东南大学、兰州大学网安学院导师拆解“真创新”

审稿人不深入,很难发现“假”研究

国内外大部分学术期刊或学术会议要求作者“保证稿件为原创作品,拥有自主知识产权,并确认研究中所用数据的所有来源,文中提及其他学者的研究成果作恰当的引用和标注”。同时,有的期刊会要求作者在“作者声明表”中披露每位作者的贡献。

这意味着,如果AI参与了学术文本生成,不论参与的是哪一个环节,将其投给期刊的“人”则应该对其贡献进行声明,这也是目前已经出现将AI列为文章作者的原因。

东南大学网络空间安全学院国产开源创新中心主任杨望作为中文期刊的审稿人介绍道:从语言模式来讲,目前AI写内容会偏华丽一些,很好辨认,但如果有一种AI指示工具能支持人和AI反复交互,且有比较多的语料支持,这种情况下形成的学术文本就比较难判断其“AI属性”,只有审稿人深入研究算法合理性或者实验之后,才能发现问题,关键在于AI的参与度。

东南大学网络空间安全学院教授张静常年担任AAAI、IJCAI、ICML、NeurIPS、KDD等人工智能顶级学术会议(高级)程序委员会委员和30余本国际期刊审稿人。他发现有的审稿人写review的时候列出的意见条目众多,涉及全面,且大部分评论属于泛泛而谈,似乎也使用AI生成,他个人对审稿人抄袭大模型评审意见的行为持反对态度。

事实上,从审稿人的角度来看,相比于检测AI参与学术文本生成的程度,利用AI帮助审稿反而更有吸引力

杨望认为,即便是在没有AI参与的阶段,假研究也是很难确认的。审稿人目前只能从文字描述、逻辑性和以往经验来判断算法或实验是否合理,在没有代码的情况下,可信度并没有那么高,这是目前普遍的情况,也是国际顶会或高影响力期刊要求提交代码、数据集的原因。只有真正跑代码去验证,才能做出准确的判断,但是审稿人的时间也非常有限,即便有代码也没这么多时间去跑。而在这方面AI就大有可为。学术出版机构如果能给审稿人提供AI服务,帮助审稿人去发现问题,将大大加强审查能力。

文本检测技术研究很“热”

在网安领域,不同课题组对目前LLM生成文本的检测技术进行了研究。

WU等在论文“A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions”中指出,对LLM生成文本的检测技术研究早有出现,但直到2023年该领域成果才蓬勃发展。团队将现有检测方法分为水印技术、基于统计的检测器、基于神经的检测器以及人机辅助方法。项慧等也将现有检测方法大致分为3类:基于预训练语言模型的方法、基于手工挖掘特征的方法和基于水印技术的方法。

2019-2023年相关领域文献分布图

来源:论文“A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions”

张静对几种技术路线进行了总结。基于机器学习分类器训练的方法,即把人写的和AI写的数据分别标记,分别用于训练分类模型。但由于AI的模仿能力不断加强,此种方法对训练集的要求很高,泛化性不强。利用内在属性的方法,即通过分析语言模式和分布关系,采用统计学的方进行判断。从某种意义上这是第一种方法的补充,可提高检测置信度。信息嵌入的方法,即水印的方法,此类技术更多应用于保护版权。

任文琦表示,相比英文世界,专门针对中文学术文本的AI检测研究还相对稀缺,这是一个亟待填补的空白。尽管部分研究团队已经开始构建专门的中文学术资料库,并基于此提出了用于检测的模型,但难以泛化到真实的检测场景中。大量研究表明,现有检测器在真实世界中“既不准确也不可靠”,且极易被简单的“对抗性攻击”所规避。 因此,我们必须探究如何提升检测器在真实世界的泛化性。

在WOS库中以“Topic=LLM-generated text detection OR machine-generated text detection OR AI-written text detection OR deepfake text detection”为条件检索,可知2024年成果更多,此领域热度继续上升。

在WOS库中条件检索结果(检索时间:2025年6月20日)

检测工具仍需发展,审稿人角色发生转变

在实际应用方面,目前国内已有多个检测系统出现,知网团队在论文《人工智能生成中文学术论文文本检测研究》中对其进行了系统描述。张静认为,综合来讲,应用系统目前还是以上各种技术路线的组合,最终给出一个概率区间。任文琦指出,有些检测系统是“国家队”,着眼于宏观信息安全,而更专注于学术市场领域的检测系统,目前还缺乏技术透明度。

关键是,目前的检测系统仍然会将人写的论文判定为AI所写。杨望认为,这种现象更像是网安领域常说的“漏报、误报”,一年毕业季检测的论文至少上百万,这些“漏报、误报”发生是百分之几千分之几,这就在可接受范围内,证明该检测系统检测效果是比较良好的。但不可否认的是,当“漏报、误报”发生在某个学生或者团队上时,这就是100%发生了,就是一座大山压在头上:如何证明自己的论文非AI撰写变得非常重要。任文琦认为,必须要求未来的检测器能够解释其做出判断的“原因”,而不仅仅给出一个冰冷的概率分数,以保障用户的申诉权。

可见,要解决现实中的检测问题,LLM生成文本的检测技术还有很长的路要走,WU等在论文中指出了目前LLM生成文本的检测技术LLM生成文本的检测技术仍需加大力度的8个发展方向,例如,加强检测器的鲁棒性、提升零样本检测器的效率、人机混写文本的检测、构建具有错误信息鉴别能力的检测器等。

但任文琦提醒到:很多系统的准确率是在测试集上取得的,当系统进入复杂的真实世界,还会面临很多挑战,一个准确率较高的系统,只能证明我们有能力造出更灵敏的雷达,但并不会改变“最终判断权必须回归到教师(或审稿人)手中”这一根本原则。也许未来审稿人的角色和职责可能发生根本性的转变,即将从文本的评判者转变为创新价值的裁决者,这种对重要性的判断,是基于经验、价值观和对未来的洞察,是目前AI所不具备的

中国科学院院士谭铁牛曾提出:“人工智能不是万能的,还有很多‘不能’。”人类与AI协同创新将带来新的可能,但工具无论多先进,都只能提供证据,而非代替人类进行裁决。

参考文献:

1. Wu J , Yang S , Zhan R ,et al.A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions[J].Computational Linguistics, 2025, 51(1).DOI:10.1162/coli_a_00549.

  1. 项慧,薛鋆豪,郝玲昕.基于语言特征集成学习的大语言模型生成文本检测[J].信息网络安全,2024,24(7):1098-1109.

信息网络安全

《信息网络安全》创刊于2001年,是由公安部主管,公安部第三研究所、中国计算机学会主办,面向国内外公开发行的国内首批信息安全类期刊之一,于2015年成为中国科技核心期刊,2017年成为中国科学引文数据库来源期刊,2018年成为中文核心期刊,2022年入选CCF计算领域高质量科技期刊分级目录。

中文核心期刊

中国科技核心期刊

中国科学引文数据库来源期刊

CCF计算领域高质量科技期刊

我们在不断努力和完善中,期待您的关注和支持!


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:信息网络安全杂志 信息网络安全杂志 信息网络安全杂志《AI查重系统频“误判”,学生何时能自证清白?中山大学、东南大学网安学者揭露检测系统技术困局与出路》

评论:0   参与:  0