【GPT入门】第51课 将hf模型转换为GGUF

【GPT入门】第51课 将hf模型转换为GGUF

  • [1. 概述](#1. 概述)
    • [1.1 llama.cpp项目进行格式转换](#1.1 llama.cpp项目进行格式转换)
    • [1.2 执行转换](#1.2 执行转换)
    • [1.3 转换后的模型](#1.3 转换后的模型)
  • [2. ollama运行 GGUF](#2. ollama运行 GGUF)
    • [2.1 安装ollama](#2.1 安装ollama)
    • [2.2 启动ollama](#2.2 启动ollama)
    • [2.3 创建ModelFile](#2.3 创建ModelFile)
    • [2.4 创建自定义模型](#2.4 创建自定义模型)
    • [2.5 启动模型](#2.5 启动模型)

1. 概述

下文把Lora微调后的模型转为gguf格式,目的是可以让模型在ollama支持的机器上运行,用到llamacpp项目做格式转换,并使用ollama运行模型测试

1.1 llama.cpp项目进行格式转换

复制代码
git clone https://github.com/ggerganov/llama.cpp.git
 pip install -r llama.cpp/requirements.txt

1.2 执行转换

python llama.cpp/convert_hf_to_gguf.py /root/autodl-tmp/models/Qwen/Qwen2.5-0.5B-Instruct-merged-rzb --outtype f16 --verbose --outfile /root/autodl-tmp/models/Qwen/Qwen2.5-0.5B-Instruct-merged-rzb-gguf.gguf

1.3 转换后的模型

2. ollama运行 GGUF

2.1 安装ollama

复制代码
curl -fsSL https://ollama.com/install.sh | sh

2.2 启动ollama

复制代码
ollama serve

2.3 创建ModelFile

复制代码
 cat ModelFile 
# GGUF文件路径
FROM /root/autodl-tmp/models/Qwen/Qwen2.5-0.5B-Instruct-merged-ollama create Qwen2.5-0.5B-Instruct-merged-rzb --file ./ModelFile

2.4 创建自定义模型

复制代码
ollama create Qwen2.5-0.5B-Instruct-merged-rzb --file ./ModeFile

2.5 启动模型

复制代码
(base) root@autodl-container-89aa47baea-756ca94a:~/autodl-tmp# ollama list
NAME                                       ID              SIZE      MODIFIED           
Qwen2.5-0.5B-Instruct-merged-rzb:latest    bcba39310524    994 MB    About a minute ago    
(base) root@autodl-container-89aa47baea-756ca94a:~/autodl-tmp# ollama run Qwen2.5-0.5B-Instruct-merged-rzb:latest
相关推荐
2301_767113985 小时前
GPT-6.2 Astra 和 Sol 发布:真正变化的是长任务成本与交付方式
gpt
zdr尽职尽责13 小时前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
一缕82年的清风19 小时前
OpenAI 突发 GPT-6.2:Sol 提速 8 倍跑分追平旗舰,但这 1 处暗改会让缓存直接失效!
gpt·chatgpt
回眸&啤酒鸭1 天前
【回眸】GPT-6.1 Sol 新手快速上手指南
gpt
谙弆悕博士3 天前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
泓博4 天前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
Eloudy5 天前
从 DeepSeek-V1 到 DeepSeek-V2:一次从“堆稠密参数”到“稀疏计算+压缩缓存”的架构转向
gpt·llm·transformer
小小-猿5 天前
从 gpt-6-luna 到第一个 Nexent 智能体:配置、调试与发布
gpt·大模型·智能体·ai智能体·nexent
良逍Ai出海5 天前
用上 Gemini 4 Carbon:比 GPT-6 Astra 还强
gpt
可乐ea6 天前
智能体的模型列表为什么要从三处来源合成:一次让 GPT-6.1 Sol 选不上的发布延迟
人工智能·gpt·chatgpt·智能体框架·模型列表·多源数据合成·客户端工程