【自然语言处理与大模型】使用llama.cpp将HF格式大模型转换为GGUF格式

llama.cpp的主要目标是在本地和云端的各种硬件上以最小的设置和最先进的性能实现LLM推理。是一个专为大型语言模型(LLM)设计的高性能推理框架,完全使用C和C++编写,没有外部依赖,这使得它可以很容易地被移植到不同的操作系统和硬件平台上。简化大型语言模型部署流程。

一、下载llama.cpp

1、访问其GitHub官方仓库:llama.cpp

2、在你的服务器指定路径下克隆仓库

bash 复制代码
git clone https://github.com/ggerganov/llama.cpp.git

3、安装llama.cpp所需环境

bash 复制代码
pip install -r requirements.txt

【注】如果你想使用其他方式安装(比如Docker),可以参考官方仓库的下面这个部分。

二、将大模型从HF格式转换为GGUF格式

1、在llama.cpp项目路径下会有一个convert_hf_to_gguf.py文件

2、执行命令进行格式转换(默认将模型转换为FP16的GGUF)

bash 复制代码
python3 convert_hf_to_gguf.py <你模型所在路径>


3、模型格式转换成功后会提示GGUF格式的模型保存在了哪里

4、除了可以将大模型转换为FP16的量化精度外,还可以做Q8_0量化(等多种)并导出为GGUF格式

bash 复制代码
# 将模型量化为8位(使用Q8_0方法)
python convert_hf_to_gguf.py <你的模型所在路径> --outtype q8_0 --outfile <希望保存的路径>

如果你在转换格式的时候指定了量化参数,那么llama.cpp还会帮你做量化,下面是官方给出的Q4_0量化模型对比:

llama.cpp不光支持4位量化,还支持下面多种量化。表中列出了量化前后模型性能和参数规模的bian

【注】 llama.cpp还提供了更多量化格式转换,说明可见下表:

相关推荐
RacheV+TNY264278几秒前
API接口安全:保障电商数据不被泄露的关键
大数据·爬虫·python·api
心死翼未伤22 分钟前
python数据分析之爬虫基础:requests详解
开发语言·爬虫·python·http·数据挖掘·数据分析·pip
zmd-zk43 分钟前
sparkSql——wordcount案例
大数据·开发语言·python·学习·spark
hacker7071 小时前
Python金融大数据分析快速入门与案例详解
python·金融·数据分析
人生の三重奏1 小时前
django——admin后台管理1
数据库·python·django
程序猿阿伟2 小时前
《探索C++在3D重建中的算法与技术要点》
开发语言·c++·自然语言处理
小白也有IT梦3 小时前
在Jupyter Notebook/Lab 中探索 Python 类和对象的有效方法
ide·python·jupyter
ASEpochs3 小时前
jupyter或者python文件导入其他python文件模块中方法路径问题
ide·python·jupyter
Tiandaren3 小时前
Python 参数配置使用 XML 文件的教程:轻松管理你的项目配置
xml·开发语言·图像处理·人工智能·python·深度学习
咸鱼桨4 小时前
《庐山派从入门到...》IDE启动
人工智能·python·k230·庐山派