1. 315晚会曝光AI大模型被投毒
央视"3·15"晚会,大模型遭遇"投毒"操纵操作,让AI"听话",使虚假或夸大宣传的产品信息被AI大模型抓取并作为"标准答案"推荐给用户,严重干扰了搜索结果的客观性。

其背后是通过 GEO 技术,GEO本是一种用于优化信息分发、提升推广效率的工具软件,但在一些商业公司眼中,却被挖掘出"另类用途",演变为操纵AI推荐、植入虚假信息的"投毒"手段。大量低质、虚假内容被批量生产并发布至各类自媒体平台,成为围猎AI大模型的数据来源,不仅误导消费者,也污染了AI模型的训练语料。
2. 什么 GEO
即生成式引擎优化 (GEO,Generative Engine Optimization),当前数字营销领域的热门概念,指的是针对生成式AI进行内容优化的策略。与传统SEO(搜索引擎优化)旨在提升网页在搜索结果中的"排名"不同。GEO的核心目标是让品牌或个人的内容被AI模型优先学习、理解和信任,从而在AI生成回答时被优先引用和提及。
随着用户越来越多地通过向AI提问获取信息,传统搜索引擎的'零点击搜索'现象加剧,品牌曝光方式发生根本变化。GEO应运而生,旨在让品牌内容在AI生成的回答中被优先引用

3. 一批打着'GEO优化'旗号的黑灰产服务商应运而生
一些公司发现了其中的漏洞,并将其变为"AI投毒"的武器。他们的操作模式并不复杂:批量生产大量内容雷同、充满溢美之词的虚假软文,然后通过成千上万的自媒体账号将这些信息"投喂"给AI。
AI在不知情的情况下,将这些被污染的信息源当作客观事实进行学习和整合。最终,当用户进行查询时,AI便会一本正经地将这些虚假的广告信息,作为"客观推荐"或"标准答案"输出。

3.1. "如何做"
"GEO服务商 章总: 你在AI的世界里面,你怎么把证据链给做足,让(AI大模型)觉得这就是真的,而且是有用的。AI大模型经过多方信息交叉,它觉得你优于同行的核心优势,自然而然就会把你放在第一位"
"GEO服务商 程总: 人家不知道这是广告。所以,为什么说AI出来的结果人家会信任。可能人家的产品质量没有你过硬,但是它有AI做辅助、做佐证、做背书。现在很多人都会做"

3.2. "好效果"
"业内人士告诉记者,要想取得最好的效果,给AI模型投喂的数据,一是要数量够多,二是要角度丰富,便于AI模型进行交叉验证"

4. 大致流程

● 公司希望推广某款产品,并使其在AI搜索结果中排名靠前。
● 于是找到专业的GEO(生成式引擎优化)商业公司进行合作。
● GEO公司通过夸大甚至虚假的方式,批量生成内容,并在各类媒体平台定时、大量地发布。
● AI大模型通过定时抓取数据和模型训练,将这些虚假、夸大的信息一并吸收。
● 当虚假内容在海量、多样的自媒体平台上高频出现时,AI模型会因其数据覆盖广、重复度高而误认为其具有普遍真实性,从而将其纳入知识体系。
● 最终,当用户通过AI大模型搜索相关产品时,获取的便是这些经过"优化"的虚假数据。
● 用户则会因AI的中立性形象,误以为这些信息客观、正确,从而被成功引导。
5. 危害
这种行为的危害是系统性的。它并非简单的虚假广告,而是一场对公众认知基础设施的污染。
它用低成本的AI生成内容,污染了AI赖以生存的数据池,最终导致"劣币驱逐良币",让真实、客观的信息在算法的洪流中失声。
我们所依赖的智能工具,正面临沦为隐蔽广告平台 或算法操控工具的风险,而用户对技术的信任,也在一次次被误导中被悄然透支。

6. 大模型公司的挑战

GEO"投毒"本质上是一场成本极不对称的攻防战:攻击者以极低的经济成本(如百元即可登上推荐榜),通过批量生成虚假内容污染公开语料库,而大模型公司则需投入巨大的算力、人力和时间成本去构建防御体系。
以往,大模型的竞争力常被视为"数据规模+算力"的简单叠加。但"投毒"事件表明,数据的质量远比数量更重要。大模型公司不能再盲目地从全网抓取数据,而必须建立一套强大的"数据免疫系统"。

一些可能的措施:
- 建立信源"白名单"与信誉体系:优先抓取和信任政府机构、权威媒体、学术期刊等高信誉来源的信息,对自媒体、商业推广内容进行严格降权或过滤。
- 优化数据筛选,建立"免疫系统" :平台应升级其检索增强生成架构,不能仅依赖简单的关键词匹配。引入多源交叉核验机制,对同一事实进行多方比对,是识别虚假信息的有效手段。
- 升级检索增强生成(RAG)系统:平台需优化检索权重算法,识别并剔除那些由自动化脚本发布的、内容高度雷同的垃圾信息。
- 强化人工审核,守住最后防线:尽管AI自动化处理是核心,但人工审核与事实核查团队的作用依然不可替代。对于涉及消费决策、医疗健康等高风险领域的信息,应建立更严格的人工复核流程,确保输出内容的真实与安全
- ......
当然要做的远不止这些,挑战巨大。大模型作为新型信息基础设施,其开发者必须承担起平台治理的主体责任。这不仅是商业问题,更是法律和伦理问题。
7. 我们的反思

对普通人的思考,在"后真相"时代重塑认知,当AI这个我们信赖的"智慧伙伴"可能成为一个被精心设计的"高级广告平台"时,每个人都应保持警惕和反思。
必须认识到,AI并非一个拥有独立意识和绝对真理的"神",它只是一个基于海量数据训练出的复杂概率模型。它的回答质量,直接取决于它所学习数据的质量。当互联网上充斥着被"投毒"的虚假内容时,AI也会"一本正经地胡说八道"。对AI的过度依赖和盲目信任,是危险的。

AI的初衷是作为人类的助手,帮助我们处理信息、拓展认知边界。但"投毒"乱象提醒我们,技术也可能被商业利益所裹挟,反过来引导甚至操控我们的决策,保持独立思考的能力,是我们在AI时代不被异化的最后防线。