llama-factory

大模型微调之LLaMA-Factory 系列教程大纲环境部署与框架特性Web UI 快速上手命令行深度操作数据格式规范数据清洗与增强数据集注册与验证参数高效微调（PEFT）

LLaMA-Factory部署以及大模型的训练（细节+新手向）经过一段时间的探索，从手动编写训练代码到寻求框架辅助训练，遇到了各种各样的问题。前面我介绍了dify的部署，但是并没有详细介绍使用方式，是因为我在尝试利用dify的时候碰到了很多困难，总结下来首先就是他的环境和端口通信问题比较难以解决，所以我就没有去讲。这几天我又尝试了使用国产的训练框架LLaMa-Factory，发现它更容易上手，环境配置更简单，并且经过尝试已经初步得出的成果，所以这篇文章我会为大家讲解从部署开始如何使用LLaMa-Factory训练自己的大模型的流程

CentOS8.5 LLaMA-Factory训练模型注：VMware16 + CentOS8.5 虚拟机尝试，不能实现GPU直通，训练不能成功。需要单独服务器直接安装linux系统。还要查看自己的显卡是否支持CUDA

Ubuntu 22.04 AI大模型环境配置及常用工具安装建议使用 Ubuntu22.04 以下配置皆以 Ubuntu22.04 系统版本为例【建议安装 3.10】（安装miniconda或者conda来管理虚拟环境）

LLaMA-Factory 数据集成从入门到精通LLaMA-Factory 框架通过Alpaca/Sharegpt双格式体系实现多任务适配，其中Alpaca专注结构化指令微调（含SFT/DPO/预训练），Sharegpt支持多角色对话及多模态数据集成。核心配置依托 dataset_info.json 实现数据源映射、格式定义（formatting）、列名绑定（columns）及角色标签（tags）设置，需特别注意多模态路径与文本标记的严格匹配。优先级规则遵循：云端仓库 > 本地脚本 > 文件直读，配置时须规避角色标签冲突和路径验证疏漏等常见误区。

LLaMA-Factory大模型微调全流程指南该文档为LLaMA-Factory大模型微调提供了完整的技术指导，涵盖了从环境搭建到模型训练、推理和合并模型的全流程，适用于需要进行大模型预训练和微调的技术人员。

CentOS7 安装 LLaMA-Factory硬盘我配置了80G，内存20G如果下载不了，可以进入github手动下载，然后在传入服务器。也可以去码云搜索后下载

闻道且行之

记录| Llama-Factory参数总结最近正在研究大模型微调，经常记不住Llama-Factory的各种参数和各种概念，这里记录下来，方便自己查看。

大模型微调｜使用 LLaMA-Factory 微调 Llama3-8B-Chinese-Chat 完成知识问答任务前言：本篇博客分享如何基于LLaMA-Factory使用现有金融数据集实现LLaMA3的微调，以完成金融领域的知识问答任务。

学不会lostfound

五、AIGC大模型_04LLaMA-Factory基础知识与SFT实战LLaMA-Factory 是一个开源的大型语言模型（LLM）微调框架，旨在帮助开发者和研究人员轻松地对预训练语言模型进行定制化训练和优化

喝不完一杯咖啡

【AI时代】可视化训练模型工具LLaMA-Factory安装与使用官方地址：https://github.com/hiyouga/LLaMA-Factory创建虚拟环境

llama-factory部署微调方法(wsl-Ubuntu & Windows)llama-factory项目GitHub地址：GitHub - hiyouga/LLaMA-Factory: Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

使用LLaMA-Factory对AI进行认知的微调本文将介绍如何使用LLaMA-Factory对AI进行微调，使其具备“忍者”的认知，并认知其是由“富士电视台”开发的。

有小肚子的三眼桥墩

从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑2025-1-22老规矩,感谢所有参考文章的作者。少走很多弯路。【1】llama-factory使用教程

如何使 LLaMA-Factory 支持 google/gemma-2-2b-jpn-it 的微调追加，修改 constants.py，

本地部署 LLaMA-Factory下载代码，创建虚拟环境，安装 LLaMA-Factory，验证，我机器的输入如下，安装 huggingface_hub，

LLaMA-Factory 单卡3080*2 deepspeed zero3 微调Qwen2.5-7B-Instruct笔者测试3080*2，1108条数据需要1个小时，bitch_size只能设为2，而且只能Zero3但是也可以微调Qwen2.5-7B-Instruct了

【大模型系列篇】LLaMA-Factory大模型微调实践 - 从零开始前一次我们使用了NVIDIA TensorRT-LLM 大模型推理框架对智谱chatglm3-6b模型格式进行了转换和量化压缩，并成功部署了推理服务，有兴趣的同学可以翻阅《NVIDIA TensorRT-LLM 大模型推理框架实践》，今天我们来实践如何通过LLaMA-Factory对大模型进行Lora微调。

LLM - 使用 LLaMA-Factory 微调大模型 Qwen2-VL SFT(LoRA) 图像数据集教程 (2)欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/143725947