Nvidia AI 发布 Llama-Minitron 3.1 4B:通过修剪和提炼 Llama 3.1 8B 构建的新语言模型

Nvidia 刚刚发布了语言模型的新版本,不过这次是一个小型语言模型:Llama-3.1-Minitron 4B 模型。这意味着它是语言模型不断发展的重要步骤之一,通过剪枝和知识提炼等尖端技术,将大型模型的效率与小型模型相结合。

Llama-3.1-Minitron 4B 模型是大型 Llama-3.1 8B 姐妹模型的提炼和剪枝版本。为了在原始 8B 模型的基础上创建更小的模型,Nvidia 在深度和宽度方向上使用了结构化剪枝技术。剪枝是一种删除网络中不那么重要的层或神经元的技术,目的是减小模型的大小和复杂度,同时保留其性能。在本例中,Nvidia 通过从模型中删除 16 层来进行深度剪枝,并将其从 8B 模型缩减为 4B 模型。另一种技术是通过削减嵌入维度和 MLP 中间层来进行宽度剪枝。

除了剪枝,Nvidia 还采用了经典蒸馏技术来提高 Llama-3.1-Minitron 4B 的效率。知识蒸馏是一个过程,在这个过程中,一个较小的模型(即学生)会被训练成模仿一个更大、更复杂的模型(即教师)的行为。通过这种方式,较小模型中保留了原始模型的大部分预测能力,但速度更快,资源更节省。Nvidia 将此与蒸馏技术和剪枝技术相结合,确保重新训练的 4B 模型性能优异,并在更大的模型中得到很好的应用。

Llama-3.1-Minitron 4B 模型在各种基准测试中表现出色,与更大型的先进开源模型相比,性能极具竞争力。在大多数领域,它的性能都远远超过许多其他小型语言模型,如 Minitron 4B、Phi-2 2.7B、Gemma2 2.6B 和 Qwen2-1.5B。广泛的基准测试证明,该模型在推理、编码和数学方面具有更高的准确性和效率。

Llama-3.1-Minitron 4B 模型的最大优势之一在于,它既能在同等条件下进行竞争,又能节约资源。它使用的训练代币数量仅是从头开始训练所需的一小部分,最多可减少 40 倍。这就节省了大量的计算成本。这使得它成为一个非常有吸引力的选择,可以部署在计算资源有限的场景中,以部署大规模语言模型。

Nvidia 进一步优化了 Llama-3.1-Minitron 4B 模型,将其部署到 TensorRT-LLM 工具包中,从而增强了其推理性能。例如,该模型在各种情况下的 FP8 精度吞吐量比原来的 Llama 3.1 8B 模型提高了 2.7 倍。对 Llama-3.1-Minitron 4B 进行的额外优化使该模型变得异常强大和高效,可轻松应用于许多领域。

总之,Nvidia 发布的 Llama-3.1-Minitron 4B 模型是 LLM 创建过程中的一次巨大飞跃。因此,Nvidia 设计的模型在节省资源的同时实现了良好的性能,因此在许多 NLP 任务中非常有用。Llama-3.1-Minitron 4B 模型将成为 Nvidia 的 "Hugging Face "系列的一部分,并为不断变化的强大、免费的人工智能模型格局添砖加瓦。

感谢大家花时间阅读我的文章,你们的支持是我不断前进的动力。期望未来能为大家带来更多有价值的内容,请多多关注我的动态!

相关推荐
千宇宙航1 小时前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
onceco1 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
jndingxin4 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
Sweet锦4 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988945 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03275 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿6 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手6 小时前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链
小和尚同志6 小时前
Cline | Cline + Grok3 免费 AI 编程新体验
人工智能·aigc
我就是全世界6 小时前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm