qlora

闻道且行之

LLaMA-Factory|微调大语言模型初探索(4)，64G显存微调13b模型上篇文章记录了使用lora微调deepseek-7b，微调成功，但是微调llama3-8b显存爆炸，这次尝试使用qlora微调HQQ方式量化，微调更大参数体量的大语言模型，记录下来微调过程，仅供参考。对过程不感兴趣的兄弟们可以直接从第3节开始看。

愤怒的可乐

[论文笔记]QLoRA: Efficient Finetuning of Quantized LLMs今天带来LoRA的量化版论文笔记——QLoRA: Efficient Finetuning of Quantized LLMs

Llama - 微调本文翻译整理自： https://llama.meta.com/docs/how-to-guides/fine-tuning

大模型微调之在亚马逊AWS上实战LlaMA案例（三）大模型微调之在亚马逊AWS上实战LlaMA案例（三）语言模型在自然语言处理任务中发挥着关键作用，但训练和微调大型模型可能会占用大量内存且耗时。在本文中，将深入研究一种在 Amazon SageMaker 上使用 QLoRA（量化感知低阶适配器调优）来微调语言模型的方法。具体来说，将集中精力微调 LLaMA 2-70B，这是 LLaMA 语言模型的一个变体，它提供了改进的性能，并支持更大的上下文长度窗口。通过利用 Hugging Face Transformers、Accelerate 和 PEFT，可以

Phi-2小语言模型QLoRA微调教程就在不久前，微软正式发布了一个 27 亿参数的语言模型——Phi-2。这是一种文本到文本的人工智能程序，具有出色的推理和语言理解能力。同时，微软研究院也在官方 X 平台上声称：“Phi-2 的性能优于其他现有的小型语言模型，但它足够小，可以在笔记本电脑或者移动设备上运行”。

高颜值的殺生丸

使用单卡v100 32g或更低显存的卡，使用peft工具qlora或lora混合精度训练大模型chatGLM2-6b，torch混合精度加速稳定训练,解决qlora loss变成nan的问题！最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型