【书生浦语第二期实战营学习笔记&作业(四)】

课程文档:https://github.com/InternLM/Tutorial/blob/camp2/xtuner/readme.md

作业文档:https://github.com/InternLM/Tutorial/blob/camp2/xtuner/homework.md

书生浦语第二期实战营学习笔记&作业(四)

1.1、微调理论讲解及 XTuner 介绍

  • 两种Finetune范式: 增量预训练和指令跟随
    增量预训练和指令跟随 区别:
  • 一条数据的一生:


1.2 微调方案 LoRA & QLoRA


LoRA介绍 : LLM的参数量主要集中在模型中的Linear,训练这些参数会耗费大量的显存。
LoRA 通过在原本的Linear旁,新增一个支路,包含两个连续的小Linear,新增的这个支路通常叫做 Adapter。

Adapter 参数量远小于原本的Linear,能大幅降低训练的显存消耗

LoRA & QLoRA对比

2.1 XTuner简介

2.2 XTuner快速上手


2.3 XTuner数据引擎


3.1 多模态LLM

  • 多模态LLM原理简介

  • LLaVA方案简介

LLaVA方案

作业:

  1. 准备数据集
  2. 模型训练


    对话测试:
    微调后的模型

    微调前的模型

    Web demo 部署:
相关推荐
板栗焖小鸡19 分钟前
STM32-PWM驱动无源蜂鸣器
stm32·学习
X_StarX21 分钟前
【Unity笔记01】基于单例模式的简单UI框架
笔记·ui·unity·单例模式·游戏引擎·游戏开发·大学生
Code季风24 分钟前
Gin 中间件详解与实践
学习·中间件·golang·go·gin
智者知已应修善业2 小时前
【51单片机用数码管显示流水灯的种类是按钮控制数码管加一和流水灯】2022-6-14
c语言·经验分享·笔记·单片机·嵌入式硬件·51单片机
孞㐑¥6 小时前
Linux之Socket 编程 UDP
linux·服务器·c++·经验分享·笔记·网络协议·udp
sealaugh328 小时前
aws(学习笔记第四十八课) appsync-graphql-dynamodb
笔记·学习·aws
水木兰亭9 小时前
数据结构之——树及树的存储
数据结构·c++·学习·算法
鱼摆摆拜拜9 小时前
第 3 章:神经网络如何学习
人工智能·神经网络·学习
aha-凯心9 小时前
vben 之 axios 封装
前端·javascript·学习
freexyn11 小时前
Matlab自学笔记六十一:快速上手解方程
数据结构·笔记·matlab