OpenAI的最强劲敌AnthropicAI终于发布了Claude 3，包含三个模型：Claude 3 Opus、Claude 3 Sonnet 和 Claude 3 Haiku，它们在推理、数学、编程、多语言理解和视觉方面达到了新的SOTA，效果超过GPT-4。Opus 和 Sonnet 现在已经可以在 claude.ai 和 Claude API 中使用，后者现在已经在 159 个国家普遍可用。Haiku也将很快推出。
相关链接
https://www.anthropic.com/news/claude-3-family?continueFlag=1ead4fbf9f3439fa1a2f4ef0ec95f4e9
Anthropic的Claude 3模型从测试结果来看比GPT-4强很多。该系列包括三种最先进的型号（按功能升序排列）：Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。支持100万Token上下文。可以完成高级推理，视觉分析，代码生成，多语言处理等多种任务。
一个智能的新标准
Opus是我们最智能的模型，在大多数人工智能系统的常见评估基准上都优于同行，包括本科水平的专家知识(MMLU)、研究生水平的专家推理(GPQA)、基础数学(GSM8K)等等。它在复杂任务上表现出接近人类水平的理解和流畅性，引领着通用智能的前沿。
所有Claude 3模型在分析和预测、细微的内容创建、代码生成以及非英语语言(如西班牙语、日语和法语)会话方面都显示出增强的能力。
下面是Claude3模型与我们的同行在多个性能基准上的比较:
几乎实时的结果
Claude 3模型可以支持实时客户聊天、自动完成和数据提取任务，这些任务的响应必须是即时和实时的。
Haiku是智能类别中市场上最快、最具成本效益的模式。它可以在不到三秒的时间内读取arXiv (~10k tokens)上的带有图表和图形的信息和数据密集的研究论文。在发布之后，我们期望进一步提高性能。
对于绝大多数工作负载，Sonnet比Claude 2和Claude 2.1快2倍，具有更高的智能水平。它擅长于需要快速反应的任务，比如知识检索或销售自动化。Opus提供了与Claude 2和2.1相似的速度，但具有更高的智能水平。
视觉能力强
Claude3模型具有先进的视觉能力，与其他领先的模型相当。它们可以处理各种视觉格式，包括照片、图表、图形和技术图表。
更少的拒绝
以前的Claude模型经常做出不必要的拒绝，这表明缺乏对上下文的理解。我们在这个领域取得了有意义的进展:与前几代模型相比，Opus、Sonnet和Haiku拒绝回答系统护栏边界提示的可能性大大降低。如下图所示，Claude 3模型显示出对请求的更细致的理解，认识到真正的伤害，并且拒绝回答无害提示的频率要低得多。
准确率提升
各种规模的企业都依赖我们的模型来服务他们的客户，这使得我们的模型输出必须在规模上保持高精度。为了评估这一点，我们使用了大量复杂的事实性问题，这些问题针对当前模型中已知的弱点。我们将回答分为正确答案、错误答案(或幻觉)和承认不确定性，即模型说它不知道答案，而不是提供不正确的信息。与Claude 2.1相比，Opus在这些具有挑战性的开放式问题上的准确性(或正确答案)提高了两倍。
除了产生更值得信赖的回答，我们很快将在我们的Claude 3模型中启用引用，这样他们就可以指出参考材料中的精确句子来验证他们的答案。
长语境和近乎完美的记忆力
Claude3系列车型最初将在发布时提供200K上下文窗口。但是，所有三种模型都能够接受超过100万个令牌的输入，我们可以将其提供给需要增强处理能力的选定客户。
为了有效地处理长上下文提示，模型需要强大的回忆能力。"大海捞针"(NIAH)评估衡量一个模型从大量数据中准确回忆信息的能力。我们通过对每个提示使用30个随机针/问题对中的一个，并在不同的众包文档语料库上进行测试，增强了该基准的鲁棒性。
Claude 3 Opus不仅实现了近乎完美的召回，准确率超过99%，而且在某些情况下，它甚至通过识别"针"句子似乎是由人类人为插入原始文本来识别评估本身的局限性。
更容易使用
Claude3模型更好地遵循复杂的，多步骤的说明。他们特别擅长坚持品牌声音和回应准则，并开发用户可以信任的面向客户的体验。此外，Claude 3模型更擅长以json等格式生成流行的结构化输出，这使得指导Claude进行自然语言分类和情感分析等用例变得更简单。
感谢你看到这里，也欢迎点击关注下方公众号，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～