7D-AI系列:模型微调之llama-factory

大模型的出现,导致信息量太大,只有静心动手操作,才能得到真理。

文章目录

llama-factory简介

Llama Factory 是一个专注于大型语言模型(LLMs)微调的开源工具库,旨在简化对 LLaMA(Meta 开源模型)、BLOOM、ChatGLM 等大模型的定制化训练流程。它提供了用户友好的接口和丰富的功能,帮助开发者、研究者快速实现模型在特定任务或数据集上的适配。

llama-factory主要功能

1. 多种训练方式支持

  • LoRA 微调
  • QLoRA 微调(量化版LoRA)
  • 全参数微调
  • DPO/ORPO/SimPO 训练(偏好对齐)
  • PPO 训练(强化学习)
  • KTO 训练
  • 预训练

2. 多模态支持

  • 支持 LLaVA、Qwen-VL 等多模态模型
  • 可以处理图像和视频输入

3. 模型量化

支持多种量化方法:GPTQ、AWQ、AQLM

支持 4-bit、8-bit 等不同精度

4. 分布式训练

  • 支持多机训练
  • 支持 DeepSpeed ZeRO-3
  • 支持 Ray 分布式
  • 支持 FSDP

5. 优化技术

  • GaLore 优化
  • APOLLO 优化
  • BAdam 优化器
  • Adam-mini 优化器
  • LoRA+
  • PiSSA 优化

源码模块

安装步骤

bash 复制代码
# 配置虚拟环境
conda create -n llama_factory python=3.12 -y
conda activate llama_factory
# 克隆 LLaMA-Factory 仓库(使用 --depth 1 可以只克隆最新版本,加快下载速度)
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
# 进入项目目录
cd LLaMA-Factory
# 安装依赖包,包括 PyTorch 和评估指标相关的依赖
pip install -e ".[torch,metrics]"
# 启动 Web UI 界面
llamafactory-cli webui

启动界面

配置模型、训练参数和数据集

注意:个人练习不要选择太大的模型权重,不然会非常慢,并且也没有效果。

数据集要配置在dataset_info.json中才能在列表中选择,如下所示:

训练过程

验证训练结果

训练前:


训练后:


其实微调并不难,难的是数据集和效果评估。

你想看哪些和AI大模型相关的技术点,可以留言,我们一一拆解。

相关推荐
m0_751336391 小时前
突破性进展:超短等离子体脉冲实现单电子量子干涉,为飞行量子比特奠定基础
人工智能·深度学习·量子计算·材料科学·光子器件·光子学·无线电电子
美狐美颜sdk4 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程4 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
郭庆汝4 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
小雷FansUnion6 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周6 小时前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
叶子爱分享7 小时前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉
鱼摆摆拜拜8 小时前
第 3 章:神经网络如何学习
人工智能·神经网络·学习
一只鹿鹿鹿8 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
张较瘦_8 小时前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习