通过LlaMA-Factory导出的模型部署到Ollama

LlaMA-Factory导出的模型转换格式

仓库地址：https://github.com/ggerganov/llama.cpp

git clone仓库之后，下载相关依赖：

cd /opt/gl/llama.cpp-master/llama.cpp-master
pip install -r requirements.txt

转换大模型格式

转换为gguf格式

 python convert_hf_to_gguf.py /opt/gl/model/lin_model --outfile /opt/gl/model/lin_model.gguf --outtype q8_0

创建ModelFile文件

FROM D:\ollama\models\lin_model\lin_model.gguf

添加自定义模型

ollama create lin_model -f D:\ollama\models\lin_model\ModelFile

查看本地模型

运行本地大模型

ollama run lin_model:latest