书生·浦语大模型实战营笔记(四)

Finetune模型微调

直接使用现成的大语言模型,在某些场景下效果不好,需要根据具体场景进行微调

  • 增量预训练:投喂垂类领域知识
    陈述形式,无问答,即只有assistant
  • 指令跟随:system-user-assistant

XTuner

XTuner的原理是LoRA和QLoRA,降低显存开销,只对大模型的部分进行训练

实战记录

  • 与合并后的模型对话
bash 复制代码
# 加载 Adapter 模型对话(Float 16)
xtuner chat ./merged --prompt-template internlm_chat

其中--prompt-template后跟的是底座模型,不同底座模型对应的参数不同

bash 复制代码
xtuner chat --help

看接收哪些参数

  • 使用xtuner时显示command not found
    解决方案:

按照教程说的:假如显示bash: xtuner: command not found的话可以考虑在终端输入 export PATH=$PATH:'/root/.local/bin'不管用

最终重新安装一遍xtuner后解决的

bash 复制代码
pip install -e '.[all]'
相关推荐
UQWRJ1 小时前
菜鸟教程R语言一二章阅读笔记
开发语言·笔记·r语言
YGY Webgis糕手之路3 小时前
OpenLayers 综合案例-轨迹回放
前端·经验分享·笔记·vue·web
遇见尚硅谷5 小时前
C语言:*p++与p++有何区别
c语言·开发语言·笔记·学习·算法
老虎06276 小时前
JavaWeb(苍穹外卖)--学习笔记13(微信小程序开发,缓存菜品,Spring Cache)
笔记·学习·微信小程序
YGY Webgis糕手之路9 小时前
OpenLayers 快速入门(九)Extent 介绍
前端·经验分享·笔记·vue·web
花月mmc9 小时前
CanMV-K230 AI学习笔记系列
人工智能·笔记·学习
努力自学的小夏11 小时前
RK3568 Linux驱动学习——Linux驱动开发准备工作
linux·驱动开发·笔记·学习
两颗泡腾片13 小时前
黑马程序员C++核心编程笔记--类和对象--运算符重载
c++·笔记
致***锌14 小时前
上证50ETF期权的交易时间是什么时候?
笔记
thginWalker14 小时前
图解网络-小林coding笔记(持续更新)
网络·笔记