sft

牛右刀薛面

launcher.py: error: the following arguments are required: --output_dir记录一个LLaMA-Factroy配置过程。按理说配置好文件应该就可以启动了，但是一直包错说没有output_dir这个参数。百思不得其解，后来我把整个yaml文件的参数都注视掉，竟然还是报了同样的错。我发现可能是其他地方出错，后来发现竟然是我的yaml配置文件是以yml结尾，官方的是以yaml结尾。大乌龙。因此如果官方有例子，尽量复制，再手动改，稍微细节没对上就会报错，这很正常，但是要通过尽可能合理的方式避免bug。

【大模型理论篇】GPT系列预训练模型原理讲解GPT的全称是Generative Pre-Trained Transformer，以Transformer为基础模型（可以看Transformer的原理解析），先后迭代了GPT-1【1】，GPT-2【2】，GPT-3【3】、GPT3.5(InstructGPT)【10】、GPT4。参考技术细节的公开程度，本篇文章主要关注前四个版本，重点将会讲解前四种模型的演变趋势和各自特点。基于文本预训练的GPT-1，GPT-2，GPT-3三代模型采用的是同种架构，即以Transformer为核心结构的模型，不同的是模

Unsloth 微调 Llama 3本文参考： https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp 改编自：https://blog.csdn.net/qq_38628046/article/details/138906504

codebat_raymond

LoRA Land: 310个经微调的大语言模型可媲美GPT-4低秩自适应 (LoRA) 已成为大语言模型 (LLM) 参数有效微调 (PEFT) 中最广泛采用的方法之一。LoRA 减少了可训练参数的数量和内存使用,同时达到了与全面微调相当的性能。该研究旨在评估在实际应用中训练和服务使用 LoRA 微调的 LLM 的可行性。首先,该研究测量了在 10 个基础模型和 31 个任务上使用量化低秩适配器微调的 LLM 的质量,总共有 310 个模型。研究发现,4 位 LoRA 微调模型的平均性能优于基础模型 34 个点,优于 GPT-4 10 个点。其次,该研究调查了用于微

LoRA微调论文：LoRA: Low-Rank Adaptation of Large Language Models

GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF以GPT为例，LLM训练流程分为4个阶段：预训练，监督微调训练，奖励评价训练，强化学习。分别生成预训练模型（Base model，基础模型），如GPT3，GPT4；监督精调模型SFT模型，RM奖励评价模型，和最后的生成模型，如ChatGPT。

汀、人工智能

人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法SFT（Supervised Fine-Tuning）监督微调是指在源数据集上预训练一个神经网络模型，即源模型。然后创建一个新的神经网络模型，即目标模型。目标模型复制了源模型上除了输出层外的所有模型设计及其参数。这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集。源模型的输出层与源数据集的标签紧密相关，因此在目标模型中不予采用。微调时，为目标模型添加一个输出大小为目标数据集类别个数的输出层，并随机初始化该层的模型参数。在目标数据集上训练目标模型时，将从头训练到输出层，其余层的参数都基