书生·浦语大模型实战营笔记（四）

Finetune模型微调

直接使用现成的大语言模型，在某些场景下效果不好，需要根据具体场景进行微调

• 增量预训练：投喂垂类领域知识
  陈述形式，无问答，即只有assistant
  
• 指令跟随：system-user-assistant
  

XTuner

XTuner的原理是LoRA和QLoRA，降低显存开销，只对大模型的部分进行训练

实战记录

• 与合并后的模型对话

# 加载 Adapter 模型对话（Float 16）
xtuner chat ./merged --prompt-template internlm_chat

其中--prompt-template后跟的是底座模型，不同底座模型对应的参数不同

xtuner chat --help

看接收哪些参数

• 使用xtuner时显示command not found
  解决方案：

按照教程说的：假如显示bash: xtuner: command not found的话可以考虑在终端输入 export PATH=$PATH:'/root/.local/bin'不管用

最终重新安装一遍xtuner后解决的

pip install -e '.[all]'