【书生浦语第二期实战营学习笔记&作业(四)】

课程文档：https://github.com/InternLM/Tutorial/blob/camp2/xtuner/readme.md

作业文档：https://github.com/InternLM/Tutorial/blob/camp2/xtuner/homework.md

书生浦语第二期实战营学习笔记&作业(四)

1.1、微调理论讲解及 XTuner 介绍

• 两种Finetune范式： 增量预训练和指令跟随
  增量预训练和指令跟随 区别：
  
• 一条数据的一生：
  
  
  

1.2 微调方案 LoRA & QLoRA

LoRA介绍 ： LLM的参数量主要集中在模型中的Linear，训练这些参数会耗费大量的显存。
LoRA 通过在原本的Linear旁，新增一个支路，包含两个连续的小Linear，新增的这个支路通常叫做 Adapter。

Adapter 参数量远小于原本的Linear，能大幅降低训练的显存消耗

LoRA & QLoRA对比

2.1 XTuner简介

2.2 XTuner快速上手

2.3 XTuner数据引擎

3.1 多模态LLM

• 多模态LLM原理简介
  

• LLaVA方案简介
  
  

LLaVA方案

作业：

1. 准备数据集
   
2. 模型训练
   
   
   对话测试：
   微调后的模型
   
   微调前的模型
   
   Web demo 部署：