llama-cpp模型轻量化部署与量化

一、定义

  1. 定义
  2. 配置环境
  3. 遇到的问题,交互模式下模型一直输出,不会停止
  4. 模型量化
  5. Qwen1.5-7B 案例demo

二、实现

  1. 定义
    主要应用与cpu 上的部署框架。由c++完成。

  2. 配置环境
    https://github.com/ggerganov/llama.cpp
    https://github.com/echonoshy/cgft-llm/blob/master/llama-cpp/README.md
    安装:

    git clone https://github.com/ggerganov/llama.cpp
    cd llama.cpp

编译环境

复制代码
sudo apt update
sudo apt install cmake

cpu:
cmake -B build_cpu
cmake --build build_cpu --config Release

部署:

复制代码
cd /root/code/llama.cpp/build_cpu/bin/
#交互模式
./llama-cli -m /home/Llama3-8B-Chinese-Chat-GGUF/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf \
    -n -1 \
    -t 12 \                    #多线程
    --color \                 #输入有颜色
    -r "User:" \              #-r: 遇到User: 停止,等待输入
    --in-prefix " " \         #输入前缀
    -i \                      #交互模式
    -p \                      #输入prompt
'User: 你好
AI: 你好啊,我是光屿,要聊聊吗?
User: 好啊!
AI: 你想聊聊什么话题呢?
User:'

#接口模式
./llama-server \
    -m /home/Llama3-8B-Chinese-Chat-GGUF/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf \
    --host "0.0.0.0" \
    --port 8080 \
    -c 2048 \
    -ngl 128 \            
    --api-key "echo in the moon"


  1. 遇到的问题,交互模式下模型一直输出,不会停止,参数-r 不起作用

原因: 容器内不支持中文,添加上中文输入法,问题解决。

复制代码
安装语言包
apt update
apt install -y language-pack-zh-hans
设置环境变量
export LANG=zh_CN.UTF-8
启动终端
exec bash
  1. Qwen1.5-7B 案例demo

    1. 将qwen1.5 转为gguf

    python convert-hf-to-gguf.py /home/Qwen1.5_7b --outfile /home/Qwen1.5_7b-GGUF/Qwen1.5_7b_v1.gguf

量化

复制代码
cd llama.cpp/build_cuda/bin
./llama-quantize --allow-requantize /home/Qwen1.5_7b-GGUF/Qwen1.5_7b_v1.gguf /home/Qwen1.5_7b-GGUF/Qwen1.5_7b-q4_1-v1.gguf Q4_1
  1. 测试

    ./llama-cli -m /home/Qwen1.5_7b-GGUF/Qwen1.5_7b-q4_1-v1.gguf
    -n -1
    -ngl 256
    -t 12
    --color
    -r "user:"
    --in-prefix " "
    -i
    -p
    "user:: 你好
    AI: 你好啊,我是光屿,要聊聊吗?
    user: 好啊!
    AI: 你想聊聊什么话题呢?
    user:"

相关推荐
大模型教程13 小时前
小白学大模型:从零搭建LLaMA
程序员·llm·llama
Jina AI2 天前
让 llama.cpp 支持多模态向量模型
llama
wyw00002 天前
大模型微调之LLaMA-Factory实战
llama
2202_756749693 天前
LLM大模型-大模型微调(常见微调方法、LoRA原理与实战、LLaMA-Factory工具部署与训练、模型量化QLoRA)
人工智能·深度学习·llama
JoannaJuanCV3 天前
大模型训练框架:LLaMA-Factory框架
llama·大模型训练·llama factory
骑士9991115 天前
llama_factory 安装以及大模型微调
llama
周小码6 天前
llama-stack实战:Python构建Llama应用的可组合开发框架(8k星)
开发语言·python·llama
blackoon888 天前
DeepSeek R1大模型微调实战-llama-factory的模型下载与训练
llama
johnny2338 天前
大模型微调理论、实战:LLaMA-Factory、Unsloth
llama
闲看云起8 天前
从 GPT 到 LLaMA:解密 LLM 的核心架构——Decoder-Only 模型
gpt·架构·llama