AI大模型微调（一）------Deep Seek R1模型Lora微调训练

Jack___Xue2026-01-24 22:07

AI大模型微调（一）------Deep Seek R1模型Lora微调训练

### 文章目录

  • [AI大模型微调（一）------Deep Seek R1模型Lora微调训练](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [@[TOC](文章目录)](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [一、模型微调讲解](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [1.什么是模型微调？](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [定义](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [方法](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.微调的过程](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [3.微调的优势](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [二、LLaMA-Factory讲解](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [1.核心功能](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.LLaMA-Factory特点](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [3.使用场景](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [三、安装 LLaMA Factory](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [1.准备工作](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.获取 LLaMA-Factory](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [3.安装依赖](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [4.卸载可能冲突的包](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [5.LLaMA-Factory 版本检查](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [6.验证安装](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [四、数据集准备](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [1.使用内部数据集](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.自定义数据集准备](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.1 下载示例数据集](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.2 查看数据集结构](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [五、模型微调](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [1.启动 Web UI](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.配置参数](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.1 训练指标](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.2](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [1.引入库](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.读入数据](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [总结](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)

一、模型微调讲解

1.什么是模型微调？

定义

在深度学习领域，模型微调通常指的是在预训练模型的基础上进行的进一步训练。（基础）预训练模型是在大量数据上训练得到的，它已经学习到了语言的基本规律和丰富的特征表示。（问题）然而，这些模型可能并不直接适用于特定的任务或领域，因为它们可能缺乏对特定领域知识的理解和适应性。

方法

模型微调通过在特定任务的数据集上继续训练预训练模型来进行，使得模型能够学习到与任务相关的特定特征和知识。这个过程通常涉及到模型权重的微幅调整，而不是从头开始训练一个全新的模型。

2.微调的过程

微调过程主要包括以下几个步骤：

顺序 步骤 说明
1 数据准备 收集和准备特定任务的数据集
2 模型选择 选择一个预训练模型作为基础模型
3 迁移学习 在新数据集上继续训练模型，同时保留预训练模型的知识
4 参数调整 根据需要调整模型的参数，如学习率、批大小等
5 模型评估 在验证集上评估模型的性能，并根据反馈进行调整

3.微调的优势

举例 说明
资源效率 相比于从头开始训练模型，微调可以显著减少所需的数据量和计算资源
快速部署 微调可以快速适应新任务，加速模型的部署过程
性能提升 针对特定任务的微调可以提高模型的准确性和鲁棒性
领域适应性 微调可以帮助模型更好地理解和适应特定领域的语言特点
通过微调，可以使得预训练模型在这些任务上取得更好的性能，更好地满足实际应用的需求。

二、LLaMA-Factory讲解

LLaMA-Factory 是一个开源的模型微调框架，致力于简化大型语言模型的定制过程。它集成了多种训练策略和监控工具，提供了命令行和 WebUI 等多种交互方式，大幅降低了模型微调的技术门槛。

链接：https://github.com/hiyouga/LLaMA-Factory

1.核心功能

功能 说明
多模型兼容 支持包括 LLama、Mistral、Falcon 在内的多种大型语言模型
训练方法多样 涵盖全参数微调及 LoRA 等先进的微调技术
用户界面友好 LLama Board 提供了一个直观的 Web 界面，使用户能够轻松调整模型设置
监控工具集成 与 TensorBoard 等工具集成，便于监控和分析训练过程

2.LLaMA-Factory特点

特点 说明
易用性 简化了机器学习算法的复杂性，通过图形界面即可控制模型微调
微调效率 支持 DPO、ORPO、PPO 和 SFT 等技术，提升了模型微调的效率和效果
参数调整灵活性 用户可根据需求轻松调整模型参数，如 dropout 率、epochs 等
多语言支持 界面支持英语、俄语和中文，面向全球用户提供服务

3.使用场景

LLaMA-Factory 适用于广泛的 NLP 任务，包括但不限于：

场景 说明
文本分类 实现情感分析、主题识别等功能
序列标注 如 NER、词性标注等任务
文本生成 自动生成文本摘要、对话等
机器翻译 优化特定语言对的翻译质量

LLaMA-Factory 通过其强大的功能和易用性，助力用户在自然语言处理领域快速实现模型的定制和优化。

三、安装 LLaMA Factory

1.准备工作

名称 要求 说明
Python 安装Python3.9 或更高版本 可以通过 Python 的官方网站下载安装，或者使用包管理器进行安装
显卡 24 GB 显存的 A10 建议使用至少这个规格的实例，或者更高规格的实例以满足可能更大的计算需求
镜像选择 PyTorch 深度学习框架版本为 2.1.2。Python 3.10、CUDA 11.2（cu121）、Ubuntu 22.04 LTS（长期支持版本）操作系统 CUDA 是 NVIDIA 提供的用于通用并行计算的编程模型和 API。

2.获取 LLaMA-Factory

打开您的终端或命令行界面，然后执行以下命令来克隆 LLaMA-Factory 的代码仓库到本地：

python 复制代码 
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

这将创建一个名为 LLaMA-Factory 的文件夹，包含所有必要的代码和文件。

3.安装依赖

在安装 LLaMA-Factory 之前，您需要确保安装了所有必要的依赖。进入克隆的仓库目录，然后执行以下命令来安装依赖：

python 复制代码 
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

这个命令将安装 LLaMA-Factory 及其所有必需的附加组件，用于模型的评估和分析。

4.卸载可能冲突的包

如果在安装过程中与其他库发生冲突，您可能需要先卸载这些库。例如，如果 vllm 库与 LLaMA-Factory 不兼容，可以使用以下命令卸载：

python 复制代码 
pip uninstall -y vllm

5.LLaMA-Factory 版本检查

安装完成后，您可以通过运行以下命令来检查 LLaMA-Factory 是否正确安装以及其版本号：

python 复制代码 
llamafactory-cli version

如果安装成功，您将看到类似以下的输出，显示 LLaMA Factory 的版本信息：

6.验证安装

为了确保 LLaMA Factory 能够正常工作，您可以运行一些基本的命令来测试其功能。例如，尝试运行 LLaMA Factory 提供的一些示例脚本，或者使用其命令行界面来查看帮助信息：

python 复制代码 
llamafactory-cli --help

注意事项

• 确保您的网络连接稳定，以便顺利下载代码仓库和安装依赖。

• 如果在安装过程中遇到问题，可以参考 LLaMA Factory 的官方文档或在社区中寻求帮助。

• 在安装过程中，您可能需要根据您的系统环境和配置调整上述命令。

通过遵循上述步骤，您将能够成功安装并开始使用 LLaMA Factory 的功能。接下来，我们将深入探讨如何使用 LLaMA Factory 进行模型微调的具体操作。

四、数据集准备

1.使用内部数据集

2.自定义数据集准备

2.1 下载示例数据集

2.2 查看数据集结构

五、模型微调

1.启动 Web UI

使用以下命令启动 LLaMA-Factory 的 Web UI 界面，以便进行交互式模型微调：

python 复制代码 
export USE_MODELSCOPE_HUB=1 & llamafactory-cli webui

在 Web UI 中，您需要配置以下关键参数以进行模型微调：

参数 说明
语言 选择模型支持的语言，例如 zh。
模型名称 选择要微调的模型，例如 LLaMA-3B-Chat
微调方法 选择微调技术，如 lora
数据集 选择用于训练的数据集
学习率 选择用于训练的数据集
计算类型 根据 GPU 类型选择计算精度，如 bf16 或 fp16
梯度累计 设置梯度累计的批次数
LoRA + 学习率比例 设置 LoRA + 的相对学习率
LoRA 作用模块 选择 LoRA 层挂载的模型部分

2.配置参数

2.1 训练指标

2.2

1.引入库

代码如下（示例）：

c 复制代码 
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')
import  ssl
ssl._create_default_https_context = ssl._create_unverified_context

2.读入数据

代码如下（示例）：

c 复制代码 
data = pd.read_csv(
    'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

该处使用的url网络请求的数据。

总结

提示：这里对文章进行总结：

例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

相关推荐
Yngz_Miao2 小时前
【深度学习】交叉熵损失函数Cross-Entropy Loss
人工智能·深度学习·损失函数·交叉熵·ce
chenzhiyuan20182 小时前
BL450实测：YOLOv8在产线端能跑多快？
人工智能
一休哥助手2 小时前
2026年1月22日人工智能早间新闻
人工智能
良策金宝AI2 小时前
工程设计企业AI试用落地路径：从效率验证到知识沉淀
数据库·人工智能·知识图谱·ai助手·工程设计
奔袭的算法工程师3 小时前
CRN源码详细解析（4）-- 图像骨干网络之DepthNet和ViewAggregation
人工智能·pytorch·深度学习·目标检测·自动驾驶
cjqbg3 小时前
灵芽API：企业级大模型API聚合网关架构解析与成本效益对比
人工智能·架构·aigc·ai编程
人工智能培训3 小时前
数字孪生应用于特种设备领域的技术难点
人工智能·机器学习·语言模型·数字孪生·大模型幻觉·数字孪生应用
慧一居士3 小时前
OpenAI 和OpenApi 区别对比和关系
人工智能
资讯雷达3 小时前
2026 年，GEO 优化如何选？风信子传媒：以“内容生态＋智能分发”重塑品牌 AI 认知
大数据·人工智能·传媒
热门推荐
01GitHub 镜像站点02OpenCode 入门教程：介绍 · 安装 · 配置第三方 API (如 Claude)03Claude Code Skills 实用使用手册04UV安装并设置国内源05Linux下V2Ray安装配置指南06BongoCat - 跨平台键盘猫动画工具07安娜的档案(Anna’s Archive) 镜像网站/国内最新可访问入口（持续更新）08Open Code教程（四）| 高级配置与集成09在VSCode配置Java开发环境的保姆级教程（适配各类AI编程IDE）10MC.JS 网页版《我的世界》 免安装中文版