Databricks 开源 DBRX:一款功能强大的新型企业级语言模型

Databricks 公司发布了 DBRX,这是一款性能优异的大语言模型,在各项测试中均超越了现有的开源模型。DBRX 的目标是为企业提供高质量、可定制的 AI 工具,帮助企业更好地利用生成式 AI 技术。

DBRX 的一大亮点是其出色的性能在语言理解、编程、数学和逻辑等任务上,DBRX 的表现均优于 LLaMA2-70B、Mixtral 和 Grok-1 等模型。根据 Databricks 的开源基准测试 Gauntlet,DBRX 在 30 多项测试中均名列前茅,这表明开源模型的质量正在不断提升。

DBRX 在语言理解 (MMLU)、编程 (HumanEval) 和数学 (GSM8K) 等方面的表现均优于现有的开源模型。

值得注意的是,DBRX 在大多数测试中甚至超越了 GPT-3.5。这对于企业来说意义重大,因为越来越多的企业开始使用开源模型替代专有模型,以获得更高的效率和控制权。Databricks 在其 12,000 多个客户中观察到了这一趋势,许多客户通过定制开源模型来满足特定需求,从而获得了更高的质量和速度。

DBRX 的另一个关键特性是其混合专家 (MoE) 架构,该架构基于 MegaBlocks 研究和开源项目构建。MoE 架构能够在保持较小的活跃参数数量(360 亿个)的情况下,实现更快的词元(Token)生成速度,而模型的总参数数量为 1320 亿个。这意味着 MoE 架构能够在速度和性能之间取得平衡,以更快的速度训练更大的模型。

DBRX Instruct 的性能可与 Gemini 1.0 Pro 和 Mistral Medium 相媲美。在 Inflection Corrected MTBench、MMLU、HellaSwag 和 HumanEval 等测试中,DBRX Instruct 的得分高于 Gemini 1.0 Pro,而 Gemini 1.0 Pro 在 GSM8k 测试中表现更强。

Databricks 使用高达 32K 词元上下文窗口训练 DBRX,并完全在其平台上构建 DBRX,使用了 Unity Catalog 进行数据治理、Apache Spark™ 和 Lilac AI 进行数据处理和清理,以及 Mosaic AI 训练服务进行大规模模型训练和微调等工具。

Databricks 将 DBRX 设计为易于定制的模型,使企业能够提高其 AI 应用的质量。从今天开始,企业可以在 Databricks 平台上使用 DBRX,在 RAG 系统中利用其长上下文能力,并根据其私有数据构建自定义 DBRX 模型。该模型可通过 Databricks 的 GitHub 存储库 和 **Hugging Face 平台(DBRX Base、DBRX Instruct)**访问。您还可以在 Hugging Face Space 平台上试用 DBRX Instruct 模型。

DBRX 的基础模型 (DBRX Base) 和微调模型 (DBRX Instruct) 的权重均可在 Hugging Face 平台上获得,并采用开放许可证。从今天开始,Databricks 客户可以通过 API 使用 DBRX,并使用 Databricks 提供的工具和技术,从头开始预训练自己的 DBRX 级模型,或者在我们提供的检查点之上继续训练模型。

参考资料

DBRX Base: https://huggingface.co/databricks/dbrx-base

DBRX Instruct: https://huggingface.co/databricks/dbrx-instruct?ref=maginative.com

DBRX Github: https://www.github.com/databricks/dbrx

DBRX Blog: https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm

相关推荐
机器之心32 分钟前
刚刚,苹果基础模型团队负责人庞若鸣被Meta挖走!加入超级智能团队、年薪千万美元
人工智能
G.E.N.1 小时前
开源!RAG竞技场(2):标准RAG算法
大数据·人工智能·深度学习·神经网络·算法·llm·rag
西西弗Sisyphus1 小时前
如果让计算机理解人类语言- Word2Vec(Word to Vector,2013)
人工智能·word·word2vec
ajassi20002 小时前
开源 C# .net mvc 开发(八)IIS Express轻量化Web服务器的配置和使用
linux·开源·c#·mvc·.net
前端双越老师2 小时前
30 行代码 langChain.js 开发你的第一个 Agent
人工智能·node.js·agent
HelloGitHub2 小时前
从被喷“假开源”到登顶 GitHub 热榜,这个开源项目上演王者归来!
开源·github
东坡肘子2 小时前
高温与奇怪的天象 | 肘子的 Swift 周报 #092
人工智能·swiftui·swift
wei_shuo2 小时前
百度开源文心 4.5 系列开源大模型 GitCode 本地化部署,硅基流动:文心 vs. DeepSeek vs. Qwen 3.0 深度测评
百度·开源·文心大模型·gitcode
KaneLogger2 小时前
视频转文字,别再反复拖进度条了
前端·javascript·人工智能