OpenAI 近日宣布,尽管公司内部已经准备了一种为 ChatGPT 生成的文本添加水印的系统,但由于担心用户反应,公司决定暂不推出这一功能。
据《华尔街日报》报道,OpenAI 早在一年前就开发了一个可以为 ChatGPT 生成的文本添加水印的系统,并且还有一个工具可以检测这些水印。然而,内部对于是否发布这一系统存在激烈的讨论。一方面,添加水印似乎是负责任的做法,可以帮助教师和其他利益相关者检测 AI 生成的内容;另一方面,这可能会影响公司的商业利益。
水印技术与用户担忧
OpenAI 的水印技术通过调整模型预测最可能跟随前面词汇的单词和短语的方式,创建一个可检测的模式。尽管这种解释相对简单,但谷歌对其 Gemini 文本水印的更深入解释表明,这种技术可以有效地标记和检测 AI 生成的内容。
检测 AI 生成内容的工具对那些试图防止学生用 AI 完成写作作业的教师来说,无疑是一个福音。《华尔街日报》报道称,公司发现水印并不会影响 ChatGPT 的文本输出质量。在一项公司委托进行的全球调查中,受访者以四比一的比例支持 AI 检测工具的想法。
OpenAI 的内部讨论与用户反馈
在《华尔街日报》发布报道后,OpenAI 在其博客中确认,公司一直在研究文本水印技术。根据《华尔街日报》看到的文件,这种方法非常准确,准确率高达99.9%,并且能够抵抗篡改,如改写。然而,公司指出,用另一种模型改写文本等技术使得恶意行为者可以轻松绕过水印。此外,公司还担心这种工具会对非母语使用者的 AI 工具使用造成污名化。
更重要的是,OpenAI 担心用户反应会影响其市场表现。公司调查显示,近30%的 ChatGPT 用户表示,如果实施水印,他们将减少使用该软件。尽管如此,据报道,仍有一些员工认为水印技术是有效的,并建议尝试其他"在用户中可能较少争议但尚未验证"的方法。
在今天的博客更新中,OpenAI 表示正在"早期阶段"探索嵌入元数据作为替代方案。公司表示,现在判断其效果如何还"为时过早",但由于其具有加密签名,不会出现误报。
最终,OpenAI 在用户反馈和内部讨论之间做出了选择,决定暂不推出水印功能。OpenAI 公司在技术进步和用户满意度之间寻求着平衡的努力,也许未来 OpenAI 会有更多争议的技术出现。