AI大模型微调（一）------Deep Seek R1模型Lora微调训练

Jack___Xue2026-01-24 22:07

AI大模型微调（一）------Deep Seek R1模型Lora微调训练

### 文章目录

  • [AI大模型微调（一）------Deep Seek R1模型Lora微调训练](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [@TOC(文章目录)](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [一、模型微调讲解](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [1.什么是模型微调？](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [定义](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [方法](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.微调的过程](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [3.微调的优势](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [二、LLaMA-Factory讲解](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [1.核心功能](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.LLaMA-Factory特点](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [3.使用场景](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [三、安装 LLaMA Factory](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [1.准备工作](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.获取 LLaMA-Factory](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [3.安装依赖](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [4.卸载可能冲突的包](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [5.LLaMA-Factory 版本检查](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [6.验证安装](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [四、数据集准备](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [1.使用内部数据集](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.自定义数据集准备](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.1 下载示例数据集](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.2 查看数据集结构](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [五、模型微调](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [1.启动 Web UI](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.配置参数](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.1 训练指标](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.2](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [1.引入库](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [2.读入数据](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)
  • [总结](#文章目录 AI大模型微调（一）------Deep Seek R1模型Lora微调训练 @TOC 一、模型微调讲解 1.什么是模型微调？ 定义 方法 2.微调的过程 3.微调的优势 二、LLaMA-Factory讲解 1.核心功能 2.LLaMA-Factory特点 3.使用场景 三、安装 LLaMA Factory 1.准备工作 2.获取 LLaMA-Factory 3.安装依赖 4.卸载可能冲突的包 5.LLaMA-Factory 版本检查 6.验证安装 四、数据集准备 1.使用内部数据集 2.自定义数据集准备 2.1 下载示例数据集 2.2 查看数据集结构 五、模型微调 1.启动 Web UI 2.配置参数 2.1 训练指标 2.2 1.引入库 2.读入数据 总结)

一、模型微调讲解

1.什么是模型微调？

定义

  在深度学习领域，模型微调通常指的是在预训练模型的基础上进行的进一步训练。（基础）预训练模型是在大量数据上训练得到的，它已经学习到了语言的基本规律和丰富的特征表示。（问题）然而，这些模型可能并不直接适用于特定的任务或领域，因为它们可能缺乏对特定领域知识的理解和适应性。

方法

  模型微调通过在特定任务的数据集上继续训练预训练模型来进行，使得模型能够学习到与任务相关的特定特征和知识。这个过程通常涉及到模型权重的微幅调整，而不是从头开始训练一个全新的模型。

2.微调的过程

微调过程主要包括以下几个步骤：

顺序 步骤 说明
1 数据准备 收集和准备特定任务的数据集
2 模型选择 选择一个预训练模型作为基础模型
3 迁移学习 在新数据集上继续训练模型，同时保留预训练模型的知识
4 参数调整 根据需要调整模型的参数，如学习率、批大小等
5 模型评估 在验证集上评估模型的性能，并根据反馈进行调整

3.微调的优势

举例 说明
资源效率 相比于从头开始训练模型，微调可以显著减少所需的数据量和计算资源
快速部署 微调可以快速适应新任务，加速模型的部署过程
性能提升 针对特定任务的微调可以提高模型的准确性和鲁棒性
领域适应性 微调可以帮助模型更好地理解和适应特定领域的语言特点
通过微调，可以使得预训练模型在这些任务上取得更好的性能，更好地满足实际应用的需求。

二、LLaMA-Factory讲解

LLaMA-Factory 是一个开源的模型微调框架，致力于简化大型语言模型的定制过程。它集成了多种训练策略和监控工具，提供了命令行和 WebUI 等多种交互方式，大幅降低了模型微调的技术门槛。

链接：https://github.com/hiyouga/LLaMA-Factory

1.核心功能

功能 说明
多模型兼容 支持包括 LLama、Mistral、Falcon 在内的多种大型语言模型
训练方法多样 涵盖全参数微调及 LoRA 等先进的微调技术
用户界面友好 LLama Board 提供了一个直观的 Web 界面，使用户能够轻松调整模型设置
监控工具集成 与 TensorBoard 等工具集成，便于监控和分析训练过程

2.LLaMA-Factory特点

特点 说明
易用性 简化了机器学习算法的复杂性，通过图形界面即可控制模型微调
微调效率 支持 DPO、ORPO、PPO 和 SFT 等技术，提升了模型微调的效率和效果
参数调整灵活性 用户可根据需求轻松调整模型参数，如 dropout 率、epochs 等
多语言支持 界面支持英语、俄语和中文，面向全球用户提供服务

3.使用场景

LLaMA-Factory 适用于广泛的 NLP 任务，包括但不限于：

场景 说明
文本分类 实现情感分析、主题识别等功能
序列标注 如 NER、词性标注等任务
文本生成 自动生成文本摘要、对话等
机器翻译 优化特定语言对的翻译质量

LLaMA-Factory 通过其强大的功能和易用性，助力用户在自然语言处理领域快速实现模型的定制和优化。

三、安装 LLaMA Factory

1.准备工作

名称 要求 说明
Python 安装Python3.9 或更高版本 可以通过 Python 的官方网站下载安装，或者使用包管理器进行安装
显卡 24 GB 显存的 A10 建议使用至少这个规格的实例，或者更高规格的实例以满足可能更大的计算需求
镜像选择 PyTorch 深度学习框架版本为 2.1.2。Python 3.10、CUDA 11.2（cu121）、Ubuntu 22.04 LTS（长期支持版本）操作系统 CUDA 是 NVIDIA 提供的用于通用并行计算的编程模型和 API。

2.获取 LLaMA-Factory

打开您的终端或命令行界面，然后执行以下命令来克隆 LLaMA-Factory 的代码仓库到本地：

python 复制代码 
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

这将创建一个名为 LLaMA-Factory 的文件夹，包含所有必要的代码和文件。

3.安装依赖

在安装 LLaMA-Factory 之前，您需要确保安装了所有必要的依赖。进入克隆的仓库目录，然后执行以下命令来安装依赖：

python 复制代码 
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

这个命令将安装 LLaMA-Factory 及其所有必需的附加组件，用于模型的评估和分析。

4.卸载可能冲突的包

如果在安装过程中与其他库发生冲突，您可能需要先卸载这些库。例如，如果 vllm 库与 LLaMA-Factory 不兼容，可以使用以下命令卸载：

python 复制代码 
pip uninstall -y vllm

5.LLaMA-Factory 版本检查

安装完成后，您可以通过运行以下命令来检查 LLaMA-Factory 是否正确安装以及其版本号：

python 复制代码 
llamafactory-cli version

如果安装成功，您将看到类似以下的输出，显示 LLaMA Factory 的版本信息：

6.验证安装

为了确保 LLaMA Factory 能够正常工作，您可以运行一些基本的命令来测试其功能。例如，尝试运行 LLaMA Factory 提供的一些示例脚本，或者使用其命令行界面来查看帮助信息：

python 复制代码 
llamafactory-cli --help

注意事项

 • 确保您的网络连接稳定，以便顺利下载代码仓库和安装依赖。

 • 如果在安装过程中遇到问题，可以参考 LLaMA Factory 的官方文档或在社区中寻求帮助。

 • 在安装过程中，您可能需要根据您的系统环境和配置调整上述命令。

 通过遵循上述步骤，您将能够成功安装并开始使用 LLaMA Factory 的功能。接下来，我们将深入探讨如何使用 LLaMA Factory 进行模型微调的具体操作。

四、数据集准备

1.使用内部数据集

2.自定义数据集准备

2.1 下载示例数据集

2.2 查看数据集结构

五、模型微调

1.启动 Web UI

使用以下命令启动 LLaMA-Factory 的 Web UI 界面，以便进行交互式模型微调：

python 复制代码 
export USE_MODELSCOPE_HUB=1 & llamafactory-cli webui

在 Web UI 中，您需要配置以下关键参数以进行模型微调：

参数 说明
语言 选择模型支持的语言，例如 zh。
模型名称 选择要微调的模型，例如 LLaMA-3B-Chat
微调方法 选择微调技术，如 lora
数据集 选择用于训练的数据集
学习率 选择用于训练的数据集
计算类型 根据 GPU 类型选择计算精度，如 bf16 或 fp16
梯度累计 设置梯度累计的批次数
LoRA + 学习率比例 设置 LoRA + 的相对学习率
LoRA 作用模块 选择 LoRA 层挂载的模型部分

2.配置参数

2.1 训练指标

2.2

1.引入库

代码如下（示例）：

c 复制代码 
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')
import  ssl
ssl._create_default_https_context = ssl._create_unverified_context

2.读入数据

代码如下（示例）：

c 复制代码 
data = pd.read_csv(
    'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

该处使用的url网络请求的数据。

总结

提示：这里对文章进行总结：

例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

相关推荐
ZFSS5 分钟前
VS Code + Luma MCP 使用教程
人工智能·ai·ai作画·copilot·ai编程·ai写作
某林2125 分钟前
ROS2 语音机器人实战：从 KCF 跟随失效到 RTAB-Map 建图闭环的完整排障
人工智能·机器人·语音识别·ros2·架构重构·技术复盘·c++底层排错
Tongpao_SSDHDD7 分钟前
希捷酷鹰ST6000VX008实测解析：中小安防监控高性价比存储方案
大数据·数据库·人工智能
Ricky055310 分钟前
基于作物特性的语义分割技术用于高效农业病害评估（西班牙德国2025年联合研究）
人工智能·目标检测·图像分割
jkyy201411 分钟前
车载健康座舱成新赛道？汽车健康数字化重塑出行新价值
大数据·人工智能·汽车·健康医疗
jllllyuz12 分钟前
MATLAB实现滚动轴承故障诊断（外圈故障）
开发语言·人工智能·matlab
xianghongtao011614 分钟前
把 Prompt 当成“可训练参数“：SkillOpt 如何用深度学习的纪律去优化 Agent 技能
人工智能·深度学习·性能优化·prompt
2601_9594801516 分钟前
Moneta Markets亿汇：“应用软件股遭遇AI再定价”
人工智能
IT古董16 分钟前
AI行业最新动态 | 2026年6月10日
人工智能
zhuhai_xigedian19 分钟前
源网荷储一体化 vs 传统供用电模式：差异、优势与转型路径
大数据·人工智能·分布式·系统架构·能源
热门推荐
01《置身钉内》原文-可播放阅读02【AI】2026 年具身智能模型和世界模型总结03GitHub 镜像站点04Claude Code、Codex、Cursor三分天下：2026年AI编程Agent生态全景剖析052026 AI 编程工具终极实战指南：Cursor vs Claude Code vs Copilot，开发者该怎么选？062026 年 AI 编程工具终极横评：Cursor vs Claude Code vs Copilot vs Windsurf07Codex 下载安装指南：Windows 和 macOS 官方版下载08AI科技热点日报 | 2026年6月1日09【踩坑记录 | 第一篇】微软商店无法使用时，如何手动安装 OpenAI Codex？附`.msix`文件系统错误解决方法10CC-Switch 下载、安装与使用配置指南【2026.5.29】