“最强7B模型”论文发布,揭秘如何超越13B版Llama 2

来自"欧洲OpenAI"的"最强7B开源模型"Mistral最近可谓是圈粉无数。

它各方面的测试指标全面超越了13B的Llama2,甚至让一众网友觉得羊驼不香了。

最新消息是,Mistral AI团队已经发布了相关论文,透露背后的技术细节。

Mistral不仅全面战胜了13B Llama2,在数学、代码和推理方面,34B的Llama1也不是Mistral的对手。

在推理任务上,Mistral的表现更是直逼10倍参数量的Llama2-70B。

但Mistral消耗的资源却很少,只需要6GB显存,MacBook就能流畅运行。

为了用更少消耗达到更好的效果,Mistral可谓是使出了浑身解数。

那么关于Mistral的这篇论文都透露了哪些技术信息呢?

多种机制降低运算消耗

基础结构上,Mistral基于Transformer架构设计,一共有32个n_layer,上下文长度达到了8192 token。

具体的参数如下表所示:

而Mistral能做到高性能低消耗,则要归功于所用到的多种优化策略。

首先是最核心的注意力机制,其直接作用是减少计算量,具体包括了两个方面。

第一种是滑动窗口(Sliding Window)注意力机制。

推理阶段中,会设定出一个窗口长度,并在划分出的注意力层范围之内进行注意力运算,而不是针对全文。

通过滑动方式,各注意力层之间会有所重叠,从而实现长文本序列的处理。

4096的长度,理论上可以处理13.1万token。

这种注意力机制和标准注意力相比,可以将速度提升到两倍。

另一种则是分组查询(Grouped-query)注意力机制。

这种机制将查询(query)拆分成多个组,每个组只与key的一个子集进行注意力运算,然后拼接出结果。

这样不仅能降低运算量,也能让组间通信次数减少,并提高查询吞吐。

除了在注意力机制上下功夫,开发者还引入了滚动缓冲区缓存(Rolling Buffer Cache)。

这种存储方式固定了缓冲区的大小,从而限定了内存消耗的最大值。

如果把缓冲区比作一座仓库,每存进一个新东西,都会占据相应的位置。

而仓库的总容量是固定的,当仓库被装满时,就会把最先放入的东西移除,让新的物品继续进仓。

但入仓时间更接近的物品则会留在仓库中,就能在节约资源的同时保留一定长度的序列。

利用这种缓存机制,只要缓冲区大小设置得合理,就能实现预算效率与记忆力的平衡。

此外还有一种预填充和分块机制,它的直接作用是减少重复运算。

假如需要处理一个很长的句子,那么这个句子将被分割成小块。

训练完前面的小块之后,再加入后面的块,以此类推......

这样存储空间中就有了前面的块信息,用来建立长序列。

这种方式避免了从头开始的重复运算,从而使效率得到了提升。

以上就是开发者在Mistral中使用的优化策略,而为了评估模型的泛化能力,开发者使用了HF上的公开数据集进行了指导性微调。

结果Mistral的表现全面超过了13B参数的Llama 2,其中推理技能更是与70B版本十分接近。

单块3090即可微调

Mistral的火爆程度,直接让第三方工作室也推出了微调教程。

据介绍,用这种方法微调之后,可以进一步提升Mistral的性能并降低消耗。

而这个微调的过程,用一块3090就能完成。

首先是根据使用目的准备数据集,转化为prompt形式并划分出训练和验证集。

然后是对模型进行初始化,加载Mistral并设置4-bit量化和Lora等参数。

接着是构建Trainer,输入数据、模型等信息正式开始训练,然后测试并保存。

具体的细节可以到教程原文中去了解。

论文地址:

https://arxiv.org/abs/2310.06825

微调教程:

https://wandb.ai/byyoung3/ml-news/reports/Fine-Tuning-Mistral7B-on-Python-Code-With-A-Single-GPU---Vmlldzo1NTg0NzY5

本文来源量子位,如有侵权请联系删除

相关推荐
SpikeKing18 小时前
LLM - 使用 LLaMA-Factory 微调大模型 环境配置与训练推理 教程 (1)
人工智能·llm·大语言模型·llama·环境配置·llamafactory·训练框架
韬小志2 天前
【LLaMa-Factory】监督微调训练方法
人工智能·深度学习·llama
大拨鼠3 天前
【多模态读论文系列】LLaMA-Adapter V2论文笔记
论文阅读·人工智能·llama
努力的光头强4 天前
太炸裂了,Ollama跑本地模型已成为历史,现在都在使用这个工具,而且还能集成本地知识库
人工智能·ai·pdf·产品经理·llama
AIBigModel6 天前
LLaMA系列一直在假装开源...
开源·llama
三月七(爱看动漫的程序员)7 天前
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
人工智能·gpt·语言模型·自然语言处理·chatgpt·llama
励志成为美貌才华为一体的女子8 天前
基于LLaMA Factory对LLama 3指令微调的操作学习笔记
llama
HyperAI超神经9 天前
对标Hugging Face?GitHub Models新增OpenAI o1/Llama 3.2等, 新功能支持模型并排比较
人工智能·机器学习·github·llama·huggingface
努力的光头强11 天前
人工智能大模型赋能医疗健康产业白皮书(2023年)|附88页PDF文件下载
人工智能·算法·ai·pdf·产品经理·llama
cv2016_DL11 天前
CLIP改进
人工智能·深度学习·机器学习·计算机视觉·llama