【大模型系列】模型微调使用框架笔记整理

万物皆字节2026-02-11 13:27

1、lora微调模型、融合导出模型

css 复制代码

git clone https://github.com/hiyouga/LLaMA-Factory.git 
cd LLaMA-Factory
pip install -e .
llamafactory-cli webui

将融合模型转移到另一台主机

2、安装llamacpp

css 复制代码

git clone https://github.com/ggerganov/llama.cpp.git 
source activate
conda create -n llamacpp
conda activate llamacpp
pip install -r llama.cpp/requirements.txt

3、使用llamacpp将模型转换成gguf

css 复制代码

python llama.cpp/convert_hf_to_gguf.py /root/autodl-tmp/llmout --outtype f16 --verbose --outfile Qwen2.5-0.5B-Instruct-gguf.gguf

4、安装open-webui

todo~~