llamafactory

LlamaFactory 部署说明文档部署方式：Docker Compose（CUDA 版本）项目名：llamafactory（小写，Compose 项目名规则）主容器名：LlamaFactory（大写，按需求命名） WebUI 地址：http://localhost:7860 目标 GPU：NVIDIA GeForce RTX 5060 Ti · 17.1 GB · sm_120 Blackwell 撰写日期：2026-07-31

LlamaFactory QLoRA SFT 微调实操指南环境：Windows 11 + RTX 5060 Ti (SM 12.0) + Qwen2.5-0.5B-Instruct 日期：2026-07-31 标签：Qwen2.5-0.5B · QLoRA 4bit NF4 · LlamaFactory 0.9.x · RTX 5060 Ti 16GB · Python 3.14 · CUDA 13.2

长葡萄的叶子

LLaMA-Factory进行模型微调、合并与Ollama部署全流程指南从零开始，手把手教你完成大模型微调、合并、导出GGUF并部署到Ollama最近在学习大模型微调，跟着B站一个微调视频走了一遍，把整个过程从头到尾跑通了。从环境配置到数据准备，从LoRA微调到最终部署到Ollama，踩了不少坑，也积累了一些经验。这篇文章就把完整的流程记录下来，希望对同样在学习模型微调的朋友有所帮助。注意：本文章使用的是非Web页面微调

大模型训练##大模型使用的大模型是：Qwen3-8B. 理论上qwen3系列应该都是通用的##训练集格式##测试集格式

昇腾Ascend环境微调部署Qwen3（LlamaFactory+vLLM-Ascend）环境介绍：GitCode：实例：NPU basic · 1 * NPU 910B · 16v CPU · 64GB

爱打代码的小林

LLaMA-Factory大模型微调llamafactory-cli train examples/train_lora/qwen3_lora_pretrain.yaml

一招定胜负

LlamaFactory使用教程下面三行命令分别对 Qwen3-4B-Instruct 模型进行 LoRA 微调、推理和合并。https://modelscope.cn/models/Qwen/Qwen3-4B-Instruct-2507

一招定胜负

LlamaFactory的微调指令我们提供了多样化的大模型微调示例脚本。请确保在 LLaMA-Factory 目录下执行下述命令。LoRA 微调

大模型——LlamaFactory利用情感对话数据集微调Qwen2.5-32B-Instruct大模型基本思路是：利用调用大模型（DeepSeek_R1_0528_Qwen3_8B）生成带有对应情感特征的热点内容对话数据集，然后过滤清洗数据集，用该数据集结合LlamaFactory微调Qwen2.5-32B-Instruct大模型

大模型——LlamaFactory微调多模态大模型流程记录提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档cd data_create/backend目录下执行如下操作

从LoRA到OFT：Qwen2.5-VL在昇腾910B与4090上的多模态微调实践与踩坑记录本文系统记录了在华为昇腾910B和英伟达4090两种硬件平台上，针对两个不同规模数据集（其中一个为从头构建的签字识别数据集）基于LLamafactory进行Qwen2.5-VL-3B多模态大模型微调的完整实验过程。实验主要探索了LoRA、Full Fine-tuning、Freeze Fine-tuning和OFT四种主流微调方法，并对学习率、训练轮数、LoRA秩、批处理大小、精度类型等数十个超参数进行了系统性对比测试，并在此过程中解决Oft无法正常推理和测试等问题。

yubin1277408629

llamafactory调试代码由ai生成，本地调试通过。llamafactory会自动将模型下载到cache路径下，例如：/home/work/.cache/modelscope/hub/models/Qwen/Qwen3-VL-4B-Instruct

超级简单启动llamafactory！先去官网找到llama_factory项目地址windows用户：打开release目录：Releases · hiyouga/LlamaFactory

大模型-微调相关内容相关概念：LlamaFactory框架安装：项目github官网下载地址：官方建议依赖版本：根据上述官方依赖版本，我采用python版本是3.11，torch==2.5.0对应的cuda版本是11.8，具体如下：

LLaMA-Factory 训练方法原理及实践（Ubuntu 22.04）作者：吴业亮博客：wuyeliang.blog.csdn.netLLaMA-Factory 是一款轻量级、模块化的大语言模型（LLM）训练/微调框架，支持 LLaMA、Qwen、Baichuan 等主流模型，覆盖从预训练到对齐微调的全流程（Pre-training、SFT、RLHF、DPO、KTO 等）。本文将从原理和Ubuntu 22.04 实操两方面，系统讲解各训练阶段的核心逻辑与落地步骤。

LLaMA-Factory 分布式训练实践作者：吴业亮博客：wuyeliang.blog.csdn.net无需额外配置文件，通过 torchrun 启动即可，LLaMA-Factory 会自动适配 DDP。

从原理到部署：LLaMA Factory 量化实战（Ubuntu 22.04）——PTQ/GPTQ/AWQ 等 9 种方法作者：吴业亮博客：wuyeliang.blog.csdn.net本文系统讲解LLaMA Factory中主流量化方法的核心原理，并基于Ubuntu 22.04环境完成PTQ/GPTQ/AWQ等9种量化方案的实操落地，涵盖环境搭建、命令行实现、关键参数调优，适配LLaMA/LLaMA2/LLaMA3等主流模型。

LLaMA-Factory 加速技术全解析：FlashAttention/Unsloth/Liger Kernel 原理与 Ubuntu22.04 实践指南作者：吴业亮博客：wuyeliang.blog.csdn.net传统Transformer注意力计算存在严重的内存访存瓶颈：需要显式存储注意力权重矩阵（O(n²)），且HBM（高带宽内存）读写速度远低于计算单元速度。 FlashAttention通过两大核心优化解决该问题：

LLaMA-Factory 主流调优算法详解作者：吴业亮博客：wuyeliang.blog.csdn.netLLaMA-Factory 是一站式大语言模型（LLM）微调框架，支持多种参数高效调优（PEFT）和全参数调优算法，适配不同算力、精度和任务场景。本文详细解析其中核心的 Full Parameter Fine-tuning、Freeze、LoRA、Galore、BAdam 五种调优算法的原理、适用场景、实现逻辑及优缺点。

LLaMA-Factory 模型评估理论与实战：基于 Ubuntu 22.04 的系统化指南在开始实践前，理解评估指标背后的逻辑至关重要。通用能力评估指标特定任务评估指标以下是两种主流的部署方式，Docker方式能最大程度避免环境冲突，推荐使用。