轻量级冠军:NVIDIA 发布具有领先准确率的小语言模型

Mistral-NeMo-Minitron 8B 是最近发布的 Mistral NeMo 12B 模型的微型版本,具有高精度和高计算效率,可在 GPU 加速数据中心、云和工作站上运行模型。

生成式 AI 开发者通常需要在模型尺寸和准确性之间做出权衡。然而,NVIDIA 发布的一款新语言模型却做到了二者兼得。这款模型虽然尺寸小,却能够提供领先的准确率。

Mistral-NeMo-Minitron 8B 是 Mistral AI 与 NVIDIA 上个月发布的 Mistral NeMo 12B 开放模型的微型版本,其尺寸小到足以在 NVIDIA RTX 驱动的工作站上运行,但却在针对 AI 驱动的聊天机器人、虚拟助手、内容生成器和教育工具的多项基准测试中取得了出色的成绩。Minitron 模型是由 NVIDIA 使用 NVIDIA NeMo (一个用于开发自定义生成式 AI 的端到端平台)所蒸馏而成。

NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro 表示:"我们把两种不同的 AI 优化方法相结合,将 Mistral NeMo 的 120 亿个参数剪枝到 80 亿,并通过蒸馏来提高准确性。这使 Mistral-NeMo-Minitron 8B 可以以更低的计算成本提供与原始模型相当的精度。"

不同于大语言模型,小语言模型可以在工作站和笔记本电脑上实时运行。这使资源有限的企业不仅能够更容易地将生成式 AI 功能部署到其基础设施中,同时还能优化成本、提高运营效率和降低能耗。在边缘设备上本地运行语言模型时,由于数据无需从边缘设备传输到服务器,因此还具有安全优势。

开发者现在可以开始使用 Mistral-NeMo-Minitron 8B,其已被打包为具有标准应用程序编程接口(API)的 NVIDIA NIM 微服务,开发者也可以从Hugging Face 下载此模型。能在几分钟内部署至任何 GPU 加速系统的可下载的 NVIDIA NIM 也即将上线。

80 亿参数语言模型的最新成果

相比同等规模的语言模型,Mistral-NeMo-Minitron 8B 在九项常用语言模型性能基准测试中名列前茅。这些基准测试涵盖了各种任务,包括语言理解、常识推理、数学推理、总结、编码以及生成真实答案的能力等。

该模型以 NVIDIA NIM 微服务的形式打包,针对低延迟和高吞吐量进行了优化,低延迟意味着用户响应速度更快,而高吞吐量意味着生产中的计算效率更高。

在某些情况下,开发者可能想要在智能手机或机器人等嵌入式设备上运行一个更小的模型。为此,他们可以先下载 80 亿参数模型,然后使用 NVIDIA AI Foundry 对其进行进一步的剪枝和蒸馏提炼,针对企业特定应用定制更小、更优化的神经网络。

AI Foundry 平台和服务为开发者提供全栈解决方案,用于创建打包为 NIM 微服务的定制基础模型。它包括流行的基础模型、NVIDIA NeMo 平台和 NVIDIA DGX Cloud 上的专用容量。使用 NVIDIA AI Foundry 的开发者还可以访问 NVIDIA AI Enterprise,这是一个为生产部署提供安全性、稳定性和支持的软件平台。

由于原始 Mistral-NeMo-Minitron 8B 模型以最先进的准确性为基准,因此使用 AI Foundry 缩小后的版本仍能为用户提供高度的准确性,只需要极少的训练数据和计算基础设施。

充分利用剪枝和蒸馏的优点

为了使较小的模型实现较高的准确率,团队采用了一种结合了剪枝和蒸馏的过程。剪枝通过删除对准确率贡献最小的模型权重来缩小神经网络的大小。在蒸馏过程中,团队在一个小的数据集上重新训练了这个剪枝后的模型,以显著提高准确率(准确率在剪枝过程中有所下降)。

最终得到的是一个尺寸更小但效率更高的模型,其预测准确率不亚于原来的大模型。

这种技术意味着只需要原始数据集的一小部分,来训练相关模型系列中的每个附加模型,与从头开始训练较小的模型相比,在剪枝和蒸馏较大模型时最多可将计算成本降为原本的四十分之一。

相关推荐
panpantt321几秒前
【参会邀请】第二届大数据与数据挖掘国际会议(BDDM 2024)邀您相聚江城!
大数据·人工智能·数据挖掘
lindsayshuo9 分钟前
jetson orin系列开发版安装cuda的gpu版本的opencv
人工智能·opencv
向阳逐梦9 分钟前
ROS机器视觉入门:从基础到人脸识别与目标检测
人工智能·目标检测·计算机视觉
陈鋆35 分钟前
智慧城市初探与解决方案
人工智能·智慧城市
qdprobot35 分钟前
ESP32桌面天气摆件加文心一言AI大模型对话Mixly图形化编程STEAM创客教育
网络·人工智能·百度·文心一言·arduino
QQ395753323735 分钟前
金融量化交易模型的突破与前景分析
人工智能·金融
QQ395753323736 分钟前
金融量化交易:技术突破与模型优化
人工智能·金融
The_Ticker1 小时前
CFD平台如何接入实时行情源
java·大数据·数据库·人工智能·算法·区块链·软件工程
Elastic 中国社区官方博客1 小时前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
jwolf21 小时前
摸一下elasticsearch8的AI能力:语义搜索/vector向量搜索案例
人工智能·搜索引擎