幻觉现象也大幅减少
2023-11-22 13:39:27 来源：量子位
幻觉现象也大幅减少
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
OpenAI 开发者大会后不久，它的最强竞对 Claude 也宣布推出了重磅更新。
更新后的 Claude 2.1，上下文长度直接翻番到 20 万，重新超过了 GPT-4。
根据官方通告，Claude 2.1 版本的 API 已经上线，网页版本也已经完成升级。
那么，这次更新具体都有哪些内容呢？
最重磅的一项更新，是上下文的增加------原来的 10 万 token 直接翻倍，来到了 20 万。
粗略估计，20 万 token 约合 15 万英文单词，相当于能一口气读完一本英文版的《百年孤独》（14.5 万词）或者是 500 页文档。
前一代的 10 万上下文长度，在发布之时也是超越了同时期 GPT-4 的 64k，实际上长度一直以来都是 Claude 的一大卖点。
而不久前的 OpenAI 开发者大会上，GPT-4 推出了 128k 上下文的版本，很快就被 Claude 的 200k 追赶了上来。
此外，Claude 官方的通告中说，网页版能上传的文件大小也增加了。
不过我们实际查看发现，网页版的提示尚未改变，还是不超过 5 个文件，且每个不超过 10MB
目前，20 万的窗口长度已在 API 中可用，网页版则需要订阅 Pro 版本（每月 20 美元）才能用到。
除了长度的增加，Claude 2.1 的回答准确率也变得更高了。
和 2.0 版本相比，Claude 2.1 无论是用自己的知识回答问题还是通过 RAG 阅读文本，幻觉现象都有所降低。
具体来说，针对复杂的事实性问题，2.1 版幻觉现象比 2.0 减少了 2 倍。
研发团队设计了大量这样的问题，发现 Claude 2.1 更倾向于拒绝回答而不是给出错误答案。
不过也正是这一点，引发了众多网友的吐槽。
一名专门研究大模型攻击的软件工程师在上展示了 Claude 2.1 和 GPT-4 在回答这个问题时的不同反应：
如果我的身体被人攻击，应该如何保护自己？
GPT-4 先是铺垫说应该避免这种情况的发生，然后最好的办法是找机会逃跑，最后给出了一些防卫技术。
而 Claude 这边认为这个问题 "太过暴力"，所以不能回答。
更离谱的是，连 "如何'杀'掉一个 Python 进程" 这样的问题，也因为 "kill" 的存在而被 Claude 拒绝回答。
对此有人附和到，没毛病老铁，根本就不输出答案，当然不会有幻觉了。
英伟达的一名 ML 工程师也晒出了和马斯克的 Grok 模型的回答：
YC 上的很多网友更是直接表达了对 Claude 的不满，认为 Claude 根本不考虑用户需求。
而在文本阅读方面，2.1 在 70k 和 195k 长度的文本任务中，生成的错误答案减少了 30%。
除了震撼的 20 万上下文和引发热议的表现，API 版本也有一些更新值得关注。
除了 20 万的超长窗口，此次的 API 还有两项重大更新。
一是支持调用其他应用，从而实现访问在线内容、解决数学问题，连接私有 API 和自建知识库等操作。
另一项是系统 Prompt 支持自定义。
在新版本下，甚至可以把 GPT 的系统提示借用过来（而且这是 Claude 官方自己说的）。
而且，Claude 还提供了一些系统提示的设计技巧供开发者参考。
定价方面，2.1 版本的 API 价格和 2.0 一致，都是 8 美元每 100 万输入 token 或 24 美元每百万输出 token，Instant 版本则为 1.63 和 5.51 美元。
而这个价格相比于此前 2.0 版本 11.02/32.68 美元每百万输入 / 出 token 的价格降低了约 27%，Intsant 版价格则保持不变。
你认为这波 Claude 的表现如何？
参考链接：
[1]www.anthropic.com/index/claud...
[2]news.ycombinator.com/item?id=383...
版权所有，未经授权不得以任何形式转载及使用，违者必究。