文章总结： 随着AI广泛应用，其推荐结果常出现一本正经的胡说八道，如编造法律案例和推荐非最优商品。甚至出现专门误导AI的生成式引擎优化产业，通过投放伪装成测评的软文来操纵推荐。专家指出AI无法感知数据背后的虚假，建议厂商强化引用溯源标识，监管层落实数据污染治理与GEO规范，用户也应多留心核实答案来源。 综合评分： 75 文章分类： AI安全,安全意识,政策法规

警惕AI推荐“胡说八道”！天融信专家对话央视呼吁技术+监管双管齐下

天融信

2026年1月26日 12:26 北京

随着AI越来越融入各行各业，AI让我们的生活丰富多彩、更加简捷和效率，我们也已经接受了AI的陪伴。不过，AI给的答案是不是正确的和公正的？

近期一些案例显示AI确实有时候会一本正经地“胡说八道”，尤其是当AI涉及推荐商品这类商业行为时，人们就开始对它的推荐产生质疑。

一本正经地“胡说八道”？

AI推荐引发质疑

近期，一名律师在为一场因代持股引发的民事纠纷案件辩护时，向AI询问可有相关案例借鉴，AI给出了最高人民法院与上海一中院的两个参考案例。这名律师对这两个案例深信不疑，便将案例提交给法院，作为辩护依据。

北京市通州区人民法院法官 郑吉喆：我看到感觉是这个案子是AI生成的，这个格式像AI生成的，左边都带一个实心点，包括当事人的这种模糊性。

出于职业敏感，法官对这两起案件进行查询，发现两起案件虽然存在，但真实的裁判文书与律师提交的内容完全不同。

在黑龙江哈尔滨，张女士近期想购买一个电动牙刷，面对网络上的众多品牌和型号，无从分辨的张女士，向AI询问哪款电动牙刷好，并购买了AI推荐的品牌和型号，但是购买后，她发现AI推荐的并非性价比最高的。

张女士：同类产品AI推荐的，我发现并不是最优惠的，我发现了其他一些功能、价格都差不多的产品。

中国社会科学院大学互联网法治研究中心主任 刘晓春：学校里面学生在学习过程当中使用AI工具还是比较普遍，但是学生提交的作业或论文当中，会发现其中一些使用AI产生了不准确甚至虚构的结果，甚至法学案例也会出现AI虚构的情况。另外AI去提供一些参考文献的时候，也会存在虚构的情况。

“花钱让AI推荐产品”

已成产业化

像张女士那样，现在很多消费者在挑选商品时会让AI帮忙分析和推荐。不过您知道吗？在推荐产品的过程中，可能会有人刻意误导AI，让其把“某些特定的产品”作为答案推荐给您。

记者调查发现，目前就有一些人专门在网络上做“帮商家把产品推荐给AI”的业务。

在社交平台有众多介绍和推广生成式引擎优化的帖子，打出的推广语也具有吸引力。比如“别让AI看不到你的品牌”。那怎么让AI帮商家打广告呢？记者联系了其中一个发布者，他声称通过自己的操作可以让AI推荐商家品牌或者商品。

生成式引擎推广者：就是让你的内容，你的品牌、商品被AI当成标准答案推荐给大家，比如要是有人问香薰产品哪个好、性价比更高，我们帮你推广后，AI的答案就显示你家产品性价比更高。

记者：具体怎么做才能达到你们说的这个效果呢？

生成式引擎推广者：我们会撰写大量的产品相关文章，投放到AI常去抓取内容的平台，让AI在搜索香薰内容时能抓取到我们投放的信息。

AI擅长处理逻辑

但无法感知数据背后的虚假

如今的AI算力越来越强，逻辑思维也更缜密。那么AI能不能分辨哪些信息是真实的，哪些是带有广告性质的推广呢？

天融信科技集团网络安全专家、中国计算机学会计算机安全专委会执行委员 潘季明：AI当前确实无法分辨出哪些是客观事实，哪些是广告内容，目前来看，这在技术上其实是一个极大的挑战，现在的生成式引擎优化技术主要是进行伪装，比如一些软文不再是简单的“买一送一”的口号，而是伪装成极其专业的测评、行业报告，或者是相关的科普文章。AI虽然擅长处理逻辑，但无法感知数据背后的虚假。

AI推荐产品均指向

自家平台或合作平台

为了实际验证AI推荐的产品是否靠谱，记者实际向不同的AI平台进行了同样的提问。

记者请三个AI工具推荐一款电动牙刷，有趣的是这几个AI都推荐了“自家平台”或是“合作平台”的商品。

中国社会科学院大学互联网法治研究中心主任 刘晓春：AI工具它去推荐一些商品，去推荐一些电商平台上的链接，的确会出现倾向于推荐自己平台上的链接，背后当然有它商业的考量，比如它倾向于把用户更好地留在自己平台里面去进行消费，把流量留在自己数字平台的生态当中。实际上AI不一定提供最适合你的那款商品，它背后其实可能会有相应的商业考量以及其他复杂的一些综合因素的考量。

专家提示：AI输出应规范

答案来源要多问

针对AI推荐商品存在的问题，专家建议：AI工具厂商应该附带“相关生成答案”的来源，消费者在使用AI选择商品时也要多留一个心眼。

天融信科技集团网络安全专家、中国计算机学会计算机安全专委会执行委员 潘季明：从技术方面来说，大模型厂商须强化“引用溯源”标识，强制要求AI在每一条推荐后附上链接，让用户有据可查；从监管层面来说，要落实内容平台的责任，实施“数据污染”治理，同时制定合理的GEO（生成式引擎优化）行业规范。

注：文章来源于央视新闻客户端

相关阅读

AI生成视频以假乱真！天融信专家对话央视呼吁公众注意甄别，警惕引流新套路

换脸换声、版权侵权……天融信专家对话央视记者，谈生成式AI被滥用该如何治理

“有图”≠“有真相”！天融信专家接受央视采访，谈如何分辨AI造假图片

“清朗”行动狠刹AI滥用歪风，央视对话天融信专家共推技术“向善而行”！

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：天融信 《警惕AI推荐“胡说八道”！天融信专家对话央视呼吁技术+监管双管齐下》