书生·浦语大模型实战营笔记(四)

Finetune模型微调

直接使用现成的大语言模型,在某些场景下效果不好,需要根据具体场景进行微调

  • 增量预训练:投喂垂类领域知识
    陈述形式,无问答,即只有assistant
  • 指令跟随:system-user-assistant

XTuner

XTuner的原理是LoRA和QLoRA,降低显存开销,只对大模型的部分进行训练

实战记录

  • 与合并后的模型对话
bash 复制代码
# 加载 Adapter 模型对话(Float 16)
xtuner chat ./merged --prompt-template internlm_chat

其中--prompt-template后跟的是底座模型,不同底座模型对应的参数不同

bash 复制代码
xtuner chat --help

看接收哪些参数

  • 使用xtuner时显示command not found
    解决方案:

按照教程说的:假如显示bash: xtuner: command not found的话可以考虑在终端输入 export PATH=$PATH:'/root/.local/bin'不管用

最终重新安装一遍xtuner后解决的

bash 复制代码
pip install -e '.[all]'
相关推荐
aloha_7894 小时前
从零记录搭建一个干净的mybatis环境
java·笔记·spring·spring cloud·maven·mybatis·springboot
dsywws5 小时前
Linux学习笔记之vim入门
linux·笔记·学习
A-超8 小时前
vue3展示pag格式动态图
笔记
u0101526588 小时前
STM32F103C8T6学习笔记2--LED流水灯与蜂鸣器
笔记·stm32·学习
weixin_518285058 小时前
深度学习笔记10-多分类
人工智能·笔记·深度学习
丘狸尾8 小时前
ubuntu【桌面】 配置NAT模式固定IP
笔记
王俊山IT9 小时前
C++学习笔记----10、模块、头文件及各种主题(二)---- 预处理指令
开发语言·c++·笔记·学习
慕卿扬9 小时前
基于python的机器学习(二)—— 使用Scikit-learn库
笔记·python·学习·机器学习·scikit-learn
齐 飞11 小时前
MongoDB笔记02-MongoDB基本常用命令
前端·数据库·笔记·后端·mongodb
flying robot11 小时前
Go结构体(struct)
笔记