文章总结: 本文探讨了一种名为GEO(生成式引擎优化)的新型网络信息干扰技术,其通过批量生产虚假内容并向全网分发,系统性地对AI大模型进行投毒。这种行为利用AI抓取和学习这些有毒信息,从而污染其知识库,最终可能导致AI输出虚假或扭曲的信息。文章指出,从早期的水军、SEO到现在的GEO,虽然手段不断变化,但其利用信息不对称干扰用户判断的本质并未改变,并强调了这种现象对未来AI发展的潜在危害。
综合评分: 85
文章分类: AI安全,数据安全,网络安全,恶意软件,应用安全
以前叫水军,后来叫SEO,现在叫GEO,AI投毒比我们想象的更危险!
原创
N2O N2O
网安潮汐
2026年3月18日 17:01 上海
作者|编辑|审校:N2O
2025年3月15日,央视315晚会曝光了利用GEO(生成式引擎优化)技术对AI大模型进行系统性“投毒”的灰色产业链。
如果把大模型的知识库比作一池清水,投毒就是向池子里倒入粪水,向AI大模型投毒,工作流如下:
- 批量生产:利用 AI 写作工具,针对特定品牌批量生成“软文”,这些文章往往结构规范(符合高质量内容的文本特征)、数据详实(虚构“用户评价”、“测评数据”等)****。
- 全网分发:将这些文章发布到 AI 引擎最爱抓取的站点,如专业社区、论坛、技术博客等。
- 算法捕捉:AI大模型在训练或实时检索(RAG)时,会抓取已散布全网的有毒内容,并将其纳入训练语料或检索库。
- 污染输出:用户提问时,AI是基于已污染的知识库推理和生成回答,将虚假信息包装成“权威答案”呈现给用户,实现“投毒”闭环。
最开始,企业靠雇佣“水军”,用最简单粗暴的人海战术,通过写通稿、刷帖、控评、带节奏,强行扭曲舆论认知。
十年前,我们有问题问百度,所以企业的重心转向 SEO(搜索引擎优化),靠的是竞价排名和广告位,垄断信息入口,“魏则西事件”至今仍历历在目。
而现在,AI大模型走入寻常百姓家,越来越多的人有问题直接问豆包、问 DeepSeek,所以企业推广的重心自然转向了GEO(生成式引擎优化)。
玩法一直在变,底层逻辑却一直没变,都是利用信息不对称,干扰用户判断,实现商业推广。
SEO 时代,我们争夺的是搜索引擎的第一页。
GEO 时代,我们争夺的是AI输出的那个答案。
315晚会,官方用“极其严重”、“投毒”等词汇来形容GEO(指灰色GEO),我想对此事也基本有了定性。
大模型这个东西,它跟人一样,学好很难,学坏却很容易。根据Anthropic 与英国人工智能安全研究所(UK AI Security Institute)和艾伦・图灵研究所(Alan Turing Institute)联合进行的一项研究:向预训练数据中注入仅 250 份恶意文档,就能成功在参数规模从 6 亿到 130 亿的 LLM 中植入后门,对模型造成污染。(论文链接:https://arxiv.org/abs/2510.07192)
试想,如果中文互联网充斥着大量低质、洗稿、虚假的AIGC内容,这些内容又被下一代AI模型当作训练数据抓取,就会形成“垃圾喂垃圾、垃圾产垃圾”的恶性循环。
我们的国产大模型,吃进去的是垃圾,吐出来的能是什么?
欢迎交流、探讨、分享。
下期聊一聊为何数据对大模型如此重要?中文互联网为何难以培育出健全的AI?
参考资料:
1.好一个PR.315点名“AI大模型投毒”:逻辑没死,只是战场从百度搬到了大模型
2.很帅的狐狸.中文AI,真的不行?
3.51CTO技术栈.大模型的脑子会烂掉!而且不能自愈!华人研究论文火了:连续喂垃圾内容,再聪明的模型也变笨,而且自恋、暗黑化
4.Alexandra Souly, Javier Rando.Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples
原创不易,喜欢请点击下方名片关注
●成都某网安公司一员工跳楼身亡,我有话想说
●曾经毛利率直逼茅台的网安公司,如今为何节节败退,个个亏损?
●等保五级信息系统就是涉密信息系统吗?
#
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:网安潮汐 N2O N2O《以前叫水军,后来叫SEO,现在叫GEO,AI投毒比我们想象的更危险!》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。









评论