【书生浦语第二期实战营学习笔记&作业(四)】

课程文档:https://github.com/InternLM/Tutorial/blob/camp2/xtuner/readme.md

作业文档:https://github.com/InternLM/Tutorial/blob/camp2/xtuner/homework.md

书生浦语第二期实战营学习笔记&作业(四)

1.1、微调理论讲解及 XTuner 介绍

  • 两种Finetune范式: 增量预训练和指令跟随
    增量预训练和指令跟随 区别:
  • 一条数据的一生:


1.2 微调方案 LoRA & QLoRA


LoRA介绍 : LLM的参数量主要集中在模型中的Linear,训练这些参数会耗费大量的显存。
LoRA 通过在原本的Linear旁,新增一个支路,包含两个连续的小Linear,新增的这个支路通常叫做 Adapter。

Adapter 参数量远小于原本的Linear,能大幅降低训练的显存消耗

LoRA & QLoRA对比

2.1 XTuner简介

2.2 XTuner快速上手


2.3 XTuner数据引擎


3.1 多模态LLM

  • 多模态LLM原理简介

  • LLaVA方案简介

LLaVA方案

作业:

  1. 准备数据集
  2. 模型训练


    对话测试:
    微调后的模型

    微调前的模型

    Web demo 部署:
相关推荐
_Kayo_3 小时前
VUE2 学习笔记6 vue数据监测原理
vue.js·笔记·学习
chenchihwen3 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
超浪的晨3 小时前
Java UDP 通信详解:从基础到实战,彻底掌握无连接网络编程
java·开发语言·后端·学习·个人开发
使二颗心免于哀伤5 小时前
《设计模式之禅》笔记摘录 - 10.装饰模式
笔记·设计模式
悠哉悠哉愿意5 小时前
【电赛学习笔记】MaxiCAM 项目实践——与单片机的串口通信
笔记·python·单片机·嵌入式硬件·学习·视觉检测
快乐肚皮5 小时前
ZooKeeper学习专栏(五):Java客户端开发(原生API)详解
学习·zookeeper·java-zookeeper
慕y2746 小时前
Java学习第七十二部分——Zookeeper
java·学习·java-zookeeper
岩中竹6 小时前
广东省省考备考——常识:科技常识(持续更新)
笔记
★YUI★6 小时前
学习游戏制作记录(剑投掷技能)7.26
学习·游戏·unity·c#
Olrookie6 小时前
若依前后端分离版学习笔记(三)——表结构介绍
笔记·后端·mysql