Databricks 公司发布了 DBRX，这是一款性能优异的大语言模型，在各项测试中均超越了现有的开源模型。DBRX 的目标是为企业提供高质量、可定制的 AI 工具，帮助企业更好地利用生成式 AI 技术。
DBRX 的一大亮点是其出色的性能 。在语言理解、编程、数学和逻辑等任务上，DBRX 的表现均优于 LLaMA2-70B、Mixtral 和 Grok-1 等模型。根据 Databricks 的开源基准测试 Gauntlet，DBRX 在 30 多项测试中均名列前茅，这表明开源模型的质量正在不断提升。
DBRX 在语言理解 (MMLU)、编程 (HumanEval) 和数学 (GSM8K) 等方面的表现均优于现有的开源模型。
值得注意的是，DBRX 在大多数测试中甚至超越了 GPT-3.5。这对于企业来说意义重大，因为越来越多的企业开始使用开源模型替代专有模型，以获得更高的效率和控制权。Databricks 在其 12,000 多个客户中观察到了这一趋势，许多客户通过定制开源模型来满足特定需求，从而获得了更高的质量和速度。
DBRX 的另一个关键特性是其混合专家 (MoE) 架构，该架构基于 MegaBlocks 研究和开源项目构建。MoE 架构能够在保持较小的活跃参数数量（360 亿个）的情况下，实现更快的词元（Token）生成速度，而模型的总参数数量为 1320 亿个。这意味着 MoE 架构能够在速度和性能之间取得平衡，以更快的速度训练更大的模型。
DBRX Instruct 的性能可与 Gemini 1.0 Pro 和 Mistral Medium 相媲美。在 Inflection Corrected MTBench、MMLU、HellaSwag 和 HumanEval 等测试中，DBRX Instruct 的得分高于 Gemini 1.0 Pro，而 Gemini 1.0 Pro 在 GSM8k 测试中表现更强。
Databricks 使用高达 32K 词元上下文窗口训练 DBRX，并完全在其平台上构建 DBRX，使用了 Unity Catalog 进行数据治理、Apache Spark™ 和 Lilac AI 进行数据处理和清理，以及 Mosaic AI 训练服务进行大规模模型训练和微调等工具。
Databricks 将 DBRX 设计为易于定制的模型，使企业能够提高其 AI 应用的质量。从今天开始，企业可以在 Databricks 平台上使用 DBRX，在 RAG 系统中利用其长上下文能力，并根据其私有数据构建自定义 DBRX 模型。该模型可通过 Databricks 的 GitHub 存储库 和 **Hugging Face 平台（DBRX Base、DBRX Instruct）**访问。您还可以在 Hugging Face Space 平台上试用 DBRX Instruct 模型。
DBRX 的基础模型 (DBRX Base) 和微调模型 (DBRX Instruct) 的权重均可在 Hugging Face 平台上获得，并采用开放许可证。从今天开始，Databricks 客户可以通过 API 使用 DBRX，并使用 Databricks 提供的工具和技术，从头开始预训练自己的 DBRX 级模型，或者在我们提供的检查点之上继续训练模型。
参考资料
DBRX Base: https://huggingface.co/databricks/dbrx-base
DBRX Instruct: https://huggingface.co/databricks/dbrx-instruct?ref=maginative.com
DBRX Github: https://www.github.com/databricks/dbrx
DBRX Blog: https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm