书生·浦语大模型实战营笔记(四)

Finetune模型微调

直接使用现成的大语言模型,在某些场景下效果不好,需要根据具体场景进行微调

  • 增量预训练:投喂垂类领域知识
    陈述形式,无问答,即只有assistant
  • 指令跟随:system-user-assistant

XTuner

XTuner的原理是LoRA和QLoRA,降低显存开销,只对大模型的部分进行训练

实战记录

  • 与合并后的模型对话
bash 复制代码
# 加载 Adapter 模型对话(Float 16)
xtuner chat ./merged --prompt-template internlm_chat

其中--prompt-template后跟的是底座模型,不同底座模型对应的参数不同

bash 复制代码
xtuner chat --help

看接收哪些参数

  • 使用xtuner时显示command not found
    解决方案:

按照教程说的:假如显示bash: xtuner: command not found的话可以考虑在终端输入 export PATH=$PATH:'/root/.local/bin'不管用

最终重新安装一遍xtuner后解决的

bash 复制代码
pip install -e '.[all]'
相关推荐
kikikidult3 小时前
(2025.07)解决——ubuntu20.04系统开机黑屏,左上角光标闪烁
笔记·ubuntu
近津薪荼3 小时前
初学者关于数据在内存中的储存的笔记
笔记
碎叶城李白5 小时前
若依学习笔记1-validated
java·笔记·学习·validated
HuashuiMu花水木7 小时前
PyTorch笔记1----------Tensor(张量):基本概念、创建、属性、算数运算
人工智能·pytorch·笔记
笑衬人心。9 小时前
Ubuntu 22.04 修改默认 Python 版本为 Python3 笔记
笔记·python·ubuntu
金色光环10 小时前
【Modbus学习笔记】stm32实现Modbus
笔记·stm32·学习
zyxzyx66611 小时前
Flyway 介绍以及与 Spring Boot 集成指南
spring boot·笔记
西岭千秋雪_12 小时前
Redis性能优化
数据库·redis·笔记·学习·缓存·性能优化
HuashuiMu花水木13 小时前
Matplotlib笔记4----------图像处理
图像处理·笔记·matplotlib
DES 仿真实践家14 小时前
【Day 11-N22】Python类(3)——Python的继承性、多继承、方法重写
开发语言·笔记·python