【书生浦语第二期实战营学习笔记&作业(四)】

课程文档:https://github.com/InternLM/Tutorial/blob/camp2/xtuner/readme.md

作业文档:https://github.com/InternLM/Tutorial/blob/camp2/xtuner/homework.md

书生浦语第二期实战营学习笔记&作业(四)

1.1、微调理论讲解及 XTuner 介绍

  • 两种Finetune范式: 增量预训练和指令跟随
    增量预训练和指令跟随 区别:
  • 一条数据的一生:


1.2 微调方案 LoRA & QLoRA


LoRA介绍 : LLM的参数量主要集中在模型中的Linear,训练这些参数会耗费大量的显存。
LoRA 通过在原本的Linear旁,新增一个支路,包含两个连续的小Linear,新增的这个支路通常叫做 Adapter。

Adapter 参数量远小于原本的Linear,能大幅降低训练的显存消耗

LoRA & QLoRA对比

2.1 XTuner简介

2.2 XTuner快速上手


2.3 XTuner数据引擎


3.1 多模态LLM

  • 多模态LLM原理简介

  • LLaVA方案简介

LLaVA方案

作业:

  1. 准备数据集
  2. 模型训练


    对话测试:
    微调后的模型

    微调前的模型

    Web demo 部署:
相关推荐
_Kayo_5 小时前
node.js 学习笔记3 HTTP
笔记·学习
CCCC13101638 小时前
嵌入式学习(day 28)线程
jvm·学习
星星火柴9368 小时前
关于“双指针法“的总结
数据结构·c++·笔记·学习·算法
小狗爱吃黄桃罐头8 小时前
正点原子【第四期】Linux之驱动开发篇学习笔记-1.1 Linux驱动开发与裸机开发的区别
linux·驱动开发·学习
艾莉丝努力练剑9 小时前
【洛谷刷题】用C语言和C++做一些入门题,练习洛谷IDE模式:分支机构(一)
c语言·开发语言·数据结构·c++·学习·算法
武昌库里写JAVA11 小时前
JAVA面试汇总(四)JVM(一)
java·vue.js·spring boot·sql·学习
Cx330❀11 小时前
【数据结构初阶】--排序(五):计数排序,排序算法复杂度对比和稳定性分析
c语言·数据结构·经验分享·笔记·算法·排序算法
杜子不疼.11 小时前
《Python学习之字典(一):基础操作与核心用法》
开发语言·python·学习
小幽余生不加糖11 小时前
电路方案分析(二十二)适用于音频应用的25-50W反激电源方案
人工智能·笔记·学习·音视频
..过云雨12 小时前
01.【数据结构-C语言】数据结构概念&算法效率(时间复杂度和空间复杂度)
c语言·数据结构·笔记·学习