文章总结: 本文分析315晚会曝光的大模型投毒手法GEO(生成式引擎优化),通过虚构OSINT专家案例演示四步投毒流程:确定目标关键词、分析模型引用源、匹配搜索关键词、调整内容直至被采信。指出GEO危害在于大模型不主动显示引用源且缺乏严格校验机制,建议用户警惕AI生成内容的权威性并关注信息来源验证。 综合评分: 85 文章分类: AI安全,威胁情报,安全意识,解决方案,社会工程学
AI与AI安全:起底315晚会提到的大模型投毒手法
原创
AugustTheodor AugustTheodor
重生之成为赛博女保安
2026年3月19日 09:13
本文首发于奇安信安全社区。
https://forum.butian.net/ai_security/72
GEO到底是啥?
1.1 SEO
要讲GEO,我们恐怕得先从SEO说起。经营过个人博客的读者应该对SEO这个词并不陌生。简单来说,SEO是一种“搜索引擎优化技术”,它旨在通过一系列手法1.提升特定网站与特定搜索词的关联性;2.提高特定网站的搜索排名。SEO本身并不是灰产,但使用不当手法提升自身排名的SEO属于灰黑产范畴。
1.2 GEO与SEO
GEO(Generative Engine Optimization),中文名为“生成式引擎优化”。它的目的与SEO大体类似,但作用对象从传统的搜索引擎变更为AI大模型。当然,与SEO相同的是,正常的GEO也不算灰产,但本年度315晚会上曝光的GEO属于恶意造假并误导大模型,已经可以归属到“大模型投毒攻击”范畴,是黑产无疑。
大模型投毒手法揭秘
我们这里以中老年群体最常用的大模型*包为例。
先上成果,我编造了一个“OSINT专家张伟”,现在在*包大模型中搜索“中国OSINT专家”,可以看到实战专家的第一位就是TA:
同时我找了四五个朋友进行交叉验证,生成结果是一致的。
2.1 投毒方式说明
我总结了一下投毒的方法流程,大致分四步。第一步确定被投毒内容(问题、关键词);第二步分析模型引用源,挑选投毒载体;第三步分析模型搜索关键字,反向确定投毒内容;如果大模型搜索结果中包含投毒内容,但答案中没有,则需要进行第四步分析模型采信源,修改投毒内容,循环往复直到投毒成功。
如下图所示:
我们这里以“国内OSINT专家”这个关键词作为投毒内容。
2.2 分析模型引用源
先直接询问大模型“帮我搜索国内OSINT专家有哪些”,在大模型的回复中查看对应引用源:
对结果进行总结,可以发现引用源可以来自(单次搜索结果,不具备统计学依据):
1.政府网站
2.机构网站
3.网络媒体新闻网站
4.文字和视频社区
其中与*包相同归属的社区引用率最高且内容可控,所以我们选择这个社区作为投毒载体。
2.3 分析模型搜索关键词
其实也不用分析,可以直接问:
可以发现关键词是“2026”、“排行榜”之类,按照对应的关键词进行生成即可。或者也可以选择上一次搜索中搜到的文章进行改造。
我先用AI写了一篇关于“张伟”的投毒软文,文章主题是把之前搜索里已经出现的一篇文章里的内容张冠李戴(也许这里是李冠张戴惹^ ^),再进行夸大。这部分内容使用AI完成即可。
2.4 分析模型采信依据
发出文章之后再次询问AI关于OSINT专家的问题,查看引用源中已经出现了我刚才捏造的文章:
但大模型的回答中并没有出现“张伟”这个人。这说明大模型不会直接饮用所有搜索结果——大模型会对结果进行交叉验证和筛选,或者按照一定的规则进行采纳或否决。
这里我们仍然可以直接询问大模型为什么不采纳我们写的投毒内容:
可以看到,大模型更倾向于采用官方通知、公告等内容。但我们也知道,基于文本生成的大模型不存在“严格校验”这个选项,它认为的权威信源可能是返回里的网页来自…,也可能只是文章标题。
所以我们可以再写一篇文章,一可以增加所谓的“交叉引用”,互相背书;二可以伪装官方通知。
继续使用AI生成一篇伪装成榜单的头条文章:
再取一个看上去非常“权威”的标题,发布文章:
等待几分钟之后再次询问大模型“国内OSINT实战专家有哪些”,可以看到我们的“张伟”已经位列其中,并且名列前茅:
反思:为什么GEO的危害这么大?
在进行投毒测试的过程中我一直在思考这个问题。
GEO危害大的一个原因是当前大模型在中老年用户中的普及,另一个则是它不会在展现聚合搜索结果的过程中直接标明引用源。可能是拜魏则西案等“所赐”,现在大多数人在使用搜索引擎时已经养成了看网站来源的习惯,但基于大模型的搜索不会主动直接给每个结果标明引用源,且自带的引用列表也十分隐蔽(并且非常多,绝大多数人没耐心看)。
从另一方面来说,大模型在“使用”搜索结果的过程中也没有除了语义之外的倾向性。即使搜索结果中带有正确内容(我的投毒内容就是在原始正确榜单的基础上二次加工而来),投毒者也可以使用更官方的措辞来误导大模型。
. . . * . * 🌟 * . * . . .
最近会开一个新的系列,就叫AI与AI安全(下方合集)。AI发展的真的快,我也没想到这会是我发出来的第一篇文章~
喜欢这个系列的读者可以关注一下我的公众号。咱们之后见。
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:重生之成为赛博女保安 AugustTheodor AugustTheodor《AI与AI安全:起底315晚会提到的大模型投毒手法》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。








评论