大模型(LLM)选择指南：AI解决方案的12个决策点

今天我们来看看国外各家领先的大型语言模型（LLM），这些模型来自OpenAI、Google、Anthropic、Cohere、Meta、Mistral AI以及Databricks等不同的供应商。我们会根据几个关键因素来评估这些模型，包括性能（涵盖价格、质量和速度）、上下文窗口的长度和授权方式等。为了让你能快速找到符合这些关键因素的理想模型，我们采用了一个星级评价系统来对价格、质量和速度进行评级。

接下来，我们还会详细探讨这些评估维度，以及在开发LLM应用时你可能需要考虑的其他重要方面。希望这些信息能帮助你做出更合适的选择！

数据来源：Artificial Analysis

大模型（LLM）革命浅谈

自从大模型（LLM）出现之后，处理文字的方式就发生了翻天覆地的变化。现在，不管是大公司还是小公司，都能轻松地使用这些强大的人工智能工具来完成各种各样的任务。本文将带您了解几种主流的大型语言模型，讲解它们能做什么、用在哪些地方，以及它们的性能如何。我们不只聚焦于OpenAI的模型，还会看看其他公司如Anthropic、Meta、Google的产品。

大型语言模型已经从只能做某个特定任务的工具变成了可以广泛应用的多功能工具箱。例如，OpenAI的ChatGPT就能在多种场景下展现出色的表现，而且用起来非常简单，不需要对它进行特别的培训。企业可以将这样的模型与自己收集的数据结合起来，这样就能够更好地利用人工智能，而且效果往往比传统的处理方法要好。

在过去的一年中，从创业公司到大公司，使用大型语言模型的案例迅速增多。像OpenAI、Google和Meta这样的大公司正在引领这股趋势，而像Mistral AI和Databricks这样的新公司也在快速成长。通过本文，我们希望能帮您更容易地选择和使用这些高科技的模型。

大模型（LLM）的基准测试

在选大模型（LLM）时，我们很想直接选个"最牛"的。但实际上，这事儿没那么简单。我们一般用一些标准的测试来看看这些模型能干嘛，这些测试或许是看看模型对通用知识的掌握，或是它们在特定领域（比如编程或多语言处理）的能力。这些测试很有帮助，但也有它们的不足之处：

• 数据泄露：有时候，测试用的数据不小心混进了训练用的数据里，这就让模型可能"记住了答案"。这样的话，测试结果可能看起来很好，但实际上并不能真实反映模型在真实环境下的表现。
• 错误：有些排行榜可能有错，所以这些榜单的结果也得打个问号。
• 真实世界的表现：测试的好坏并不总是能准确反映模型在实际工作中的表现，尤其是当你的用途和测试的场景不一样时。

市面上有很多种测试，每种都有好处和局限。看看模型在不同测试里的表现通常是挺好的方法。这里有几种常见的测试：

• MMLU（大规模多任务语言理解）：这个测试用多项选择题来看模型在57个不同学科上的表现。
• Chatbot Arena：这是一个网站应用，让用户可以和几个不同的模型聊天，然后选出聊得最好的。
• MT Bench（多任务基准测试）：这个测试通过翻译、总结和问答等多种任务来评估模型的多功能性和稳定性。
• HumanEval：这个测试看模型是否能根据给定的编程问题生成正确且实用的代码。

参考了Artificial Analysis获取这些数据，建议你也可以去看看。我们的比较图用了四分位数法，根据模型的价格和MMLU评分（最高三星）排名。但记住，这些测试并不是说全部都能代表模型的实力。最近，Scale AI也推出了一个私有排行榜，值得一看。虽然排行榜有其参考价值，但在选模型时，别忘了考虑成本、速度、隐私和其他特定的功能需求。

为什么要尝试不同的模型

挑选大型语言模型时，考虑的不只是它在测试中的表现。实际上，我们还得考虑成本、速度和实际能干什么。比如，如果你要开发一个在手机或电脑上直接运行的应用，用一个特大的模型可能会让应用跑得非常慢，甚至根本启动不了。

虽然很多排行榜都喜欢把OpenAI的GPT-4列在前面，但这并不意味着它适合所有情况。如果我们尝试不同的开源模型，还可以用一些特别的技术（比如叫做RAG的检索增强生成技术）把这些模型和外部的数据结合起来。这样一来，我们可以在不太牺牲性能的情况下减少成本，同时在速度和适用范围上也能有更多选择。例如，有些模型运行得更快，适合需要即时反应的应用；有些则更便宜，适合需要处理大量文本的场合。

选择大模型（LLM）的五个关键方面：

在选择大模型（LLM）时，我们需要考虑的不仅仅是模型的排名。这里有五个关键因素，这些因素对于确定哪个模型最适合你的需求非常重要：

• 性能： 模型的性能通常通过标准的基准测试来评估。根据你的需求不同，可能会考虑使用不同的测试来评价模型。比如，MMLU适合评估模型在常识性知识上的表现，而HumanEval更适合评估模型在编程任务上的能力。
• 成本： 使用大型语言模型通常需要支付费用，不同模型的成本差异很大。例如，开源模型Llama-3--8b的成本可能是每百万 tokens 0.20美元，而GPT-4则可能高达每百万 tokens 30美元。便宜的模型虽然性能可能不如昂贵的模型，但对于一些基础任务来说已经足够了。比较不同模型的成本可以帮你找到符合预算的最佳选择。
• 输出速度： 不同的应用对速度的需求不同。在需要即时响应的应用中，如语音助手，快速反应至关重要；而在处理如夜间会议记录等非实时任务时，速度可能就不那么重要了。模型的输出速度可以通过首个令牌的延迟时间（TTFT）和整体的每秒令牌数（吞吐量）来衡量。
• 隐私特性： 一些商业模型如OpenAI的GPT-4或Google的模型需要通过API与服务提供商的服务器通信，这意味着你的数据将被发送到服务器。这在某些情况下可接受，但在需要高度隐私保护的场合，使用可在本地运行的开源模型会更安全，确保数据不外泄。
• 特定能力： 某些模型是为特定类型的任务定制的，如代码生成或多模态处理（处理图像、音频等）。这些专用模型在其专长领域内可能提供更高的性能和成本效率，例如Code Llama或Cohere的检索模型。

如何选一个合适的模型

在建立一个强大的应用程序时，选择正确的模型是第一步。大型预训练语言模型（LLM）懂得很多东西，能做很多事情，适合用在多种任务上。但是，它们知道的东西有限，到某个时间点就不再更新了。

要让这些模型保持最新，通常需要加入一些外部数据。这可以通过搜索API或技术，如检索增强生成（RAG）来实现。有些任务，比如感情分析、分类或翻译，模型本身就能处理，尤其是在给它几个例子之后。但是，对于需要特定数据的任务，比如需要引用内部文件的聊天机器人，就必须额外添加数据。

当应用非常依赖模型的知识库时，像GPT-4、Gemini和Opus这样的大型专有模型通常比Llama或Mistral这样的小型开源模型表现得更好，因为它们的知识更全面，推理能力也更强。不过，如果用一些技巧，比如通过外部数据增强模型输出，或者用少样本提示，这些小型模型的表现也可以接近大型模型。

选模型的几个建议

• 从高性能的模型开始： 开始设计和开发你的应用时，试试性能最好的模型，比如OpenAI的GPT-4、Google的Gemini或Claude的Opus，这样能保证输出的质量。
• 迭代和优化： 在有了一个高性能基线的模型后，根据你的具体需求和预算，可以尝试用其他模型。添加一些示例或连接外部工具可以帮助提高小型模型的表现。
• 考虑其他因素： 除了性能外，还要考虑速度等其他方面。在一些情况下，如果能显著提高速度或降低成本，一点点性能下降是可以接受的。

通过尝试不同的模型和技术，你可以找到性能和成本之间的最佳平衡点，有时这种方法比坚持使用一个模型来得更有效。

构建大模型LLM）应用的七个关键步骤

大型语言模型（LLM）非常适合快速展示，因为它们内置了丰富的知识，可以立即使用。但要构建一个真正稳定和可靠的应用，仅仅有个好模型还不够，还需要考虑以下几个关键环节：

• 数据连接器： LLM应用通常需要连接到多种数据源，如数据库、API和云存储。使用工具如MindsDB，可以帮助你轻松地把这些数据源整合到一起，让数据的管理和使用更加高效。
• 数据预处理： 在输入模型之前，需要先处理和清洗数据，确保数据的质量。高质量的数据输入是模型表现良好的关键。
• 嵌入模型： 这种模型可以把数据转换成密集的向量形式，帮助模型更好地理解数据的含义，从而在搜索和分类等任务中表现更好。
• 向量数据库： 这类数据库专门用于存储和查询密集向量，它能快速进行数据搜索，对于需要快速响应和处理大量数据的应用非常重要。
• 检索增强生成（RAG）管道： 通过这种技术，可以把外部数据整合进来，增强模型的回答。这个过程包括从搜索相关文档到使用模型改善这些文档的内容，以优化最终输出。
• 提示工程/管理： 好的提示可以指导模型提供更准确的答案。这涉及到设计和调整提示，使其与上下文相关并优化模型表现。
• 可观察性和评估： 要确保模型表现可靠，监控和评估其性能是必不可少的。可以使用各种工具来跟踪模型的响应时间、准确性等，及时发现并解决问题。

理解并整合这些组件，对于创建一个可靠的生产级LLM应用非常关键。利用像MindsDB这样的工具，可以使连接和预处理数据的过程更高效，帮助你更好地构建应用。

部署选项：自托管 vs 无服务器

在部署大型语言模型（LLM）时，你可以选择不同的方式，每种方式都有其优点和需要考虑的问题。这里，我们来聊聊自托管和无服务器部署的区别，以及使用推理服务提供商的一些看法。

自托管的优缺点

当你选择自托管大型语言模型（LLM），这意味着你可以完全控制你的部署环境，并确保所有数据只在你的设备或服务器上处理，不会发送到外部。这对于那些处理敏感信息的应用来说特别重要，因为这样可以避免数据泄露给第三方的风险。

自托管最大的优点是它提供了极高的安全性和隐私保护，这在处理敏感数据时尤为关键。但同时，自托管也要求你需要有足够的技术能力来搭建和维护这样的系统。这意味着你需要在硬件和软件上进行较大的前期投资，包括购买服务器和其他设备，并聘请技术人员来维护这些设备。

虽然长期来看，自托管可能会在处理大数据量时帮你节省一些成本，但是初始的设立和持续的管理可能会很复杂且资源消耗大。因此，如果你的业务或应用涉及到大量的敏感信息，并且对数据的安全性有很高的要求，自托管是一个好选择。但需要考虑到，你是否准备好承担起建立和维护这样一个系统的责任和成本。

无服务器部署：简单高效

无服务器部署的主要优点是它的可扩展性和低维护需求。这种方式特别适合那些需要快速扩大规模��应用程序，而不需要大量投资在服务器和其他硬件上。选择无服务器部署，你基本上可以把所有精力都放在开发应用上，而不是去管理和维护服务器。

服务商会负责所有的基础架构，包括服务器的扩展和维护工作。这一点在应用需求经常变化，或者用户数量时多时少的情况下特别有用。无服务器架构能自动调整所需的资源量，来适应应用的实际需求，全程无需你手动干预。

推理服务提供商的好处

当我们使用像Anyscale、Fireworks AI和Together AI这样的推理服务提供商时，部署和管理大型语言模型（LLM）会变得更加简单。这些提供商给我们带来了几个明显的好处：

• 简化集成：他们提供了标准化的API，这意味着你可以轻松地把大型语言模型加入到你的应用中，不需要深入了解底层技术。
• 自动调整规模：这些服务能根据应用的使用量自动增减资源，无论是用户激增还是减少，系统都能自动适应。
• 节约成本：他们通过托管开源模型提供服务，相对于自己购买和维护昂贵的服务器，这种方式成本更低。
• 定制服务：除了基础服务，很多推理服务提供商还提供模型微调、定制部署等高级功能，让你能够根据自己的具体需求调整模型。
• 性能监控：他们提供工具来监控和优化模型的表现，确保你的应用运行平稳，性能最佳。

推理服务提供商减少了部署和扩展大型语言模型的复杂性，使得企业可以更容易、更经济地利用这些先进技术，而不必担心技术和基础设施的挑战。这让企业可以专注于创新和发展自己的核心业务。

总结

在大模型（LLM）的世界里，选择合适的模型涉及很多考虑因素，包括模型的性能、成本、处理速度、隐私保护以及它是否满足特定的需求。LLM 已经从只能做特定任务的工具，成���为能处理多种任务的强大工具，这大大推动了自然语言处理技术的发展，并拓宽了其应用范围。

尽管基准测试能给我们提供关于模型性能的重要信息，但在真实世界中使用时，我们还需要考虑到实际的应用需求和可能的限制。尝试不同的模型和技术，如检索增强生成（RAG）和提示工程，将帮助你找到最适合你的需求的解决方案。

了解如何部署模型也很关键。你可以选择自托管模型，也可以选择无服务器部署。每种选择都有其优点和需要权衡的地方。推理服务提供商可以帮助简化部署过程，它们提供的解决方案既可扩展又经济，可以轻松集成到你的应用中。

选择适合你的应用的LLM取决于你对需求和限制的理解。通过掌握不同模型的能力和局限，并利用合适的工具和技术，你可以充分发挥LLM的潜力，推动你的项目实现创新和效率的提升。在这个快速变化的领域，保持开放和实验的态度是成功的关键。