书生·浦语大模型实战营笔记(四)

Finetune模型微调

直接使用现成的大语言模型,在某些场景下效果不好,需要根据具体场景进行微调

  • 增量预训练:投喂垂类领域知识
    陈述形式,无问答,即只有assistant
  • 指令跟随:system-user-assistant

XTuner

XTuner的原理是LoRA和QLoRA,降低显存开销,只对大模型的部分进行训练

实战记录

  • 与合并后的模型对话
bash 复制代码
# 加载 Adapter 模型对话(Float 16)
xtuner chat ./merged --prompt-template internlm_chat

其中--prompt-template后跟的是底座模型,不同底座模型对应的参数不同

bash 复制代码
xtuner chat --help

看接收哪些参数

  • 使用xtuner时显示command not found
    解决方案:

按照教程说的:假如显示bash: xtuner: command not found的话可以考虑在终端输入 export PATH=$PATH:'/root/.local/bin'不管用

最终重新安装一遍xtuner后解决的

bash 复制代码
pip install -e '.[all]'
相关推荐
摇滚侠21 小时前
Spring Boot 3零基础教程,WEB 开发 HTTP 缓存机制 笔记29
spring boot·笔记·缓存
大白的编程日记.21 小时前
【Linux学习笔记】线程同步与互斥之生产者消费者模型
linux·笔记·学习
新子y21 小时前
【小白笔记】strip的含义
笔记·python
摇滚侠21 小时前
Spring Boot 3零基础教程,WEB 开发 内容协商 接口返回 YAML 格式的数据 笔记35
spring boot·笔记·后端
Chunyyyen1 天前
【第十八周】自然语言处理的学习笔记03
笔记·学习·自然语言处理
聪明的笨猪猪1 天前
Java JVM “类加载与虚拟机执行” 面试清单(含超通俗生活案例与深度理解)
java·经验分享·笔记·面试
im_AMBER1 天前
React 02
前端·笔记·学习·react.js·前端框架
怀揣小梦想1 天前
跟着Carl学算法--哈希表
数据结构·c++·笔记·算法·哈希算法·散列表
zyq~1 天前
【课堂笔记】概率论-1
笔记·概率论
Kapibalapikapi1 天前
C 标准库函数 | strcmp, strlen
笔记·逆向·c标准库函数