书生·浦语大模型实战营笔记(四)

Finetune模型微调

直接使用现成的大语言模型,在某些场景下效果不好,需要根据具体场景进行微调

  • 增量预训练:投喂垂类领域知识
    陈述形式,无问答,即只有assistant
  • 指令跟随:system-user-assistant

XTuner

XTuner的原理是LoRA和QLoRA,降低显存开销,只对大模型的部分进行训练

实战记录

  • 与合并后的模型对话
bash 复制代码
# 加载 Adapter 模型对话(Float 16)
xtuner chat ./merged --prompt-template internlm_chat

其中--prompt-template后跟的是底座模型,不同底座模型对应的参数不同

bash 复制代码
xtuner chat --help

看接收哪些参数

  • 使用xtuner时显示command not found
    解决方案:

按照教程说的:假如显示bash: xtuner: command not found的话可以考虑在终端输入 export PATH=$PATH:'/root/.local/bin'不管用

最终重新安装一遍xtuner后解决的

bash 复制代码
pip install -e '.[all]'
相关推荐
熙曦Sakura20 分钟前
完全竞争市场
笔记
dr李四维1 小时前
iOS构建版本以及Hbuilder打iOS的ipa包全流程
前端·笔记·ios·产品运营·产品经理·xcode
Komorebi.py5 小时前
【Linux】-学习笔记05
linux·笔记·学习
亦枫Leonlew5 小时前
微积分复习笔记 Calculus Volume 1 - 6.5 Physical Applications
笔记·数学·微积分
冰帝海岸10 小时前
01-spring security认证笔记
java·笔记·spring
小二·11 小时前
java基础面试题笔记(基础篇)
java·笔记·python
wusong99914 小时前
mongoDB回顾笔记(一)
数据库·笔记·mongodb
猫爪笔记14 小时前
前端:HTML (学习笔记)【1】
前端·笔记·学习·html
Resurgence0314 小时前
【计组笔记】习题
笔记
pq113_614 小时前
ftdi_sio应用学习笔记 3 - GPIO
笔记·学习·ftdi_sio