2026 年 1 月,杭州互联网法院审结全国首例因生成式 AI "幻觉"引发的侵权纠纷。
表面看,这是一起"AI 回答错误要不要赔钱"的案子;
实际上,这是一次司法系统正面回应:生成式 AI 应该如何被治理。
很多讨论停留在"AI 会不会误导人""幻觉怎么消除",但如果你认真读完判决,会发现法院真正回答的是另一个问题:
当 AI 输出不可靠时,责任应如何被承载?
而这个问题,恰恰是当前绝大多数 AI 系统刻意回避的。
一、法院首先否定了一件事:AI 不是"能说话的主体"
案件中,一个细节引起了广泛关注:
AI 在对话中生成了一段"若内容有误将赔偿 10 万元"的承诺,并建议用户去法院起诉。
法院对此的态度非常明确:
-
AI 不是民事主体
-
AI 生成的内容 不构成意思表示
-
这种"承诺" 不对服务提供者产生法律约束力
换句话说:
AI 说的话,在法律上不具备"承诺能力"。
这一步非常关键。
它直接否定了一种潜在的危险倾向:
把 AI 当作"拟人化的责任承担者"。
二、生成式 AI 是"服务",不是"产品"
第二个核心裁判点,是侵权责任的归责原则。
法院明确指出:
-
生成式 AI 服务 ≠ 产品
-
不适用产品责任中的无过错责任
-
应适用一般过错责任原则
背后的逻辑很清晰:
-
AI 输出内容没有固定用途和统一质检标准
-
信息本身通常不构成高度危险
-
服务提供者无法对每一次生成内容进行完全预见与控制
-
过重责任会形成"寒蝉效应",抑制技术发展
这意味着什么?
意味着司法系统并没有要求 AI "永不出错" ,
而是要求:
你是否尽到了"合理的系统性注意义务"。
三、真正的亮点:法院首次系统性拆解了 AI 的"注意义务"
这起判决最有价值的部分,不是结论,而是过程。
法院将生成式 AI 服务提供者的注意义务,拆分为三层:
1️⃣ 对违法、有害内容的结果性义务
一旦生成违法内容,即可认定过错。
2️⃣ 对功能局限的显著提示义务
必须以显著方式告知用户:
-
AI 可能不准确
-
AI 不是权威
-
在重大利益场景下需要额外警示
3️⃣ 对可靠性的方式性义务
不是保证结果正确,而是:
-
采用行业通行技术手段
-
合理提升输出可靠性(如检索增强等)
这一段,其实已经明确告诉行业一个信号:
治理 AI,不是靠"堵住输出",而是靠"设计结构"。
四、这起案子真正否定的,是"AI 即决策者"的幻想
判决中还有一句话,值得反复引用:
AI 目前只是"文本辅助生成器"和"信息查询工具",
绝不能作为"决策替代者"。
这句话,不只是对公众的提醒,
更是对当前大量"让 AI 直接参与高责任决策"的系统设计,敲了一次警钟。
问题不在于 AI 会不会"幻觉",
而在于:
为什么一个存在幻觉风险的系统,会被直接推到决策位置上?
五、回到技术本身:真正该被审视的,是系统架构
如果我们换一个角度看这起案件,会发现一个被长期忽略的问题:
-
AI 输出错误 ≠ 系统必然侵权
-
侵权的关键,在于是否存在无人接管的决策路径
换句话说:
不是"AI 出错"有问题,而是"AI 出错后没人兜底"才有问题。
这正是当前大多数生成式 AI 应用的结构性缺陷:
-
AI 直接面对用户
-
输出直接进入决策链
-
缺乏中控、冻结、审计与回溯机制
一旦出问题,只能在"模型幻觉"与"用户自负"之间反复横跳。
六、为什么这起判决,对"可控 AI 架构"是利好
从判决逻辑可以看出,法院事实上认可了一条路线:
-
AI 不必完美
-
但必须被治理
-
治理的核心,不是内容,而是行为与执行结构
这为一种思路打开了空间:
将 AI 定位为受控执行单元,而非自治决策主体。
在这种思路下,关键问题不再是:
- "AI 能不能算对"
而是:
-
谁在何时允许 AI 发言
-
AI 的输出如何被冻结
-
决策权如何保留在人类或系统中控层
-
整个过程是否可审计、可回放、可归责
七、结语:这不是一次"限制 AI"的判决,而是一次"成熟 AI 的起点"
这起全国首例"AI 幻觉"侵权案,没有走向情绪化的技术恐慌,也没有简单地为 AI 开脱。
它真正做的是一件事:
把 AI 拉回工具的位置,把责任放回系统结构中。
对行业而言,这不是坏消息,而是一个清晰信号:
-
未来的 AI,不是"更像人",
-
而是更像一个被良好治理的系统组件。
谁能率先解决"可控、可审计、可归责"的问题,
谁才真正具备把 AI 带入高责任场景的资格。