以前叫水军,后来叫SEO,现在叫GEO,AI投毒比我们想象的更危险!

admin 2026-04-02 05:10:42 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 本文探讨了一种名为GEO(生成式引擎优化)的新型网络信息干扰技术,其通过批量生产虚假内容并向全网分发,系统性地对AI大模型进行投毒。这种行为利用AI抓取和学习这些有毒信息,从而污染其知识库,最终可能导致AI输出虚假或扭曲的信息。文章指出,从早期的水军、SEO到现在的GEO,虽然手段不断变化,但其利用信息不对称干扰用户判断的本质并未改变,并强调了这种现象对未来AI发展的潜在危害。 综合评分: 85 文章分类: AI安全,数据安全,网络安全,恶意软件,应用安全


cover_image

以前叫水军,后来叫SEO,现在叫GEO,AI投毒比我们想象的更危险!

原创

N2O N2O

网安潮汐

2026年3月18日 17:01 上海

作者|编辑|审校:N2O

2025年3月15日,央视315晚会曝光了利用GEO(生成式引擎优化)技术对AI大模型进行系统性“投毒”的灰色产业链。

如果把大模型的知识库比作一池清水,投毒就是向池子里倒入粪水,向AI大模型投毒,工作流如下:

  1. 批量生产:利用 AI 写作工具,针对特定品牌批量生成“软文”,这些文章往往结构规范(符合高质量内容的文本特征)、数据详实(虚构“用户评价”、“测评数据”等)****。
  2. 全网分发:将这些文章发布到 AI 引擎最爱抓取的站点,如专业社区、论坛、技术博客等。
  3. 算法捕捉:AI大模型在训练或实时检索(RAG)时,会抓取已散布全网的有毒内容,并将其纳入训练语料或检索库。
  4. 污染输出:用户提问时,AI是基于已污染的知识库推理和生成回答,将虚假信息包装成“权威答案”呈现给用户,实现“投毒”闭环。

最开始,企业靠雇佣“水军”,用最简单粗暴的人海战术,通过写通稿、刷帖、控评、带节奏,强行扭曲舆论认知。

十年前,我们有问题问百度,所以企业的重心转向 SEO(搜索引擎优化),靠的是竞价排名和广告位,垄断信息入口,“魏则西事件”至今仍历历在目。

而现在,AI大模型走入寻常百姓家,越来越多的人有问题直接问豆包、问 DeepSeek,所以企业推广的重心自然转向了GEO(生成式引擎优化)。

玩法一直在变,底层逻辑却一直没变,都是利用信息不对称,干扰用户判断,实现商业推广。

SEO 时代,我们争夺的是搜索引擎的第一页。

GEO 时代,我们争夺的是AI输出的那个答案。

315晚会,官方用“极其严重”、“投毒”等词汇来形容GEO(指灰色GEO),我想对此事也基本有了定性。

大模型这个东西,它跟人一样,学好很难,学坏却很容易。根据Anthropic 与英国人工智能安全研究所(UK AI Security Institute)和艾伦・图灵研究所(Alan Turing Institute)联合进行的一项研究:向预训练数据中注入仅 250 份恶意文档,就能成功在参数规模从 6 亿到 130 亿的 LLM 中植入后门,对模型造成污染。(论文链接:https://arxiv.org/abs/2510.07192)

试想,如果中文互联网充斥着大量低质、洗稿、虚假的AIGC内容,这些内容又被下一代AI模型当作训练数据抓取,就会形成“垃圾喂垃圾、垃圾产垃圾”的恶性循环。

我们的国产大模型,吃进去的是垃圾,吐出来的能是什么?

欢迎交流、探讨、分享。

下期聊一聊为何数据对大模型如此重要?中文互联网为何难以培育出健全的AI?

参考资料:

1.好一个PR.315点名“AI大模型投毒”:逻辑没死,只是战场从百度搬到了大模型

2.很帅的狐狸.中文AI,真的不行?

3.51CTO技术栈.大模型的脑子会烂掉!而且不能自愈!华人研究论文火了:连续喂垃圾内容,再聪明的模型也变笨,而且自恋、暗黑化

4.Alexandra Souly, Javier Rando.Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples

原创不易,喜欢请点击下方名片关注

●成都某网安公司一员工跳楼身亡,我有话想说

●曾经毛利率直逼茅台的网安公司,如今为何节节败退,个个亏损?

●等保五级信息系统就是涉密信息系统吗?

#


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:网安潮汐 N2O N2O《以前叫水军,后来叫SEO,现在叫GEO,AI投毒比我们想象的更危险!》

评论:0   参与:  0