llama.cpp:PC端测试 MobileVLM -- 电脑端部署图生文大模型

llama.cpp:PC端测试 MobileVLM


1.环境需要

以下是经实验验证可行的环境参考,也可尝试其他版本。

(1)PC:Ubuntu 22.04.4

(2)软件环境:如下表所示

工具 版本 安装
Anaconda 2021.05 参考:Anaconda3安装及使用
cmake 3.26.0 conda install -c conda-forge cmake ; conda install -c conda-forge c-compiler ; conda install -c conda-forge cxx-compiler
make 4.4.1 conda install -c conda-forge make
ndk android-ndk-r26c 官网下载解压,设置环境变量
adb 1.0.41 conda install -c conda-forge adb
git 2.34.1 sudo apt-get update ; sudo apt-get install git
git-lfs 3.6.0 sudo apt-get install git-lfs

2.构建项目

(1)克隆项目:

shell 复制代码
git lfs install
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

(2)PC构建:

shell 复制代码
cmake -B build
cmake --build build --config Release

(3)下载文件:

去hf-mirror.com下载gguf模型,以MobileVLM为例:

shell 复制代码
# https://hf-mirror.com/guinmoon/MobileVLM-1.7B-GGUF/tree/main
git lfs install
git clone https://hf-mirror.com/guinmoon/MobileVLM-1.7B-GGUF  ./models/MobileVLM-1.7B-GGUF
git clone https://hf-mirror.com/guinmoon/MobileVLM-3B-GGUF  ./models/MobileVLM-3B-GGUF

将你想推理的image.jpg放到./img目录。

3.PC测试

shell 复制代码
./build/bin/llama-llava-cli \
    -m ./models/MobileVLM-1.7B/ggml-model-q4_k.gguf \
    --mmproj ./models/MobileVLM-1.7B/mmproj-model-f16.gguf \
    --image ./img/image.jpg \
    -p "图像中有什么内容?"

.


声明:资源可能存在第三方来源,若有侵权请联系删除!

相关推荐
数据智能老司机27 分钟前
使用 FastAPI 构建生成式 AI 服务——与生成模型的实时通信
llm·openai·fastapi
数据智能老司机30 分钟前
使用 FastAPI 构建生成式 AI 服务——AI集成与模型服务
llm·openai·fastapi
亚里随笔2 小时前
TORL:解锁大模型推理新境界,强化学习与工具融合的创新变革
人工智能·llm·agent·agentic rl
sophister5 小时前
MCP 协议关于tool 的几个基础问题
llm·cursor·mcp
货拉拉技术5 小时前
AI Agent搭建神器上线!货拉拉工作流让效率翻倍!
算法·llm
小杨4049 小时前
LLM大语言模型三(非技术人视角的大模型解读)
人工智能·python·llm
Roc.Chang20 小时前
释放 Mac 存储空间:Ollama 模型迁移到外接 NVMe 磁盘
macos·语言模型·大模型·llm·ollama
阿牛大牛中1 天前
谷歌推出探索型推荐新范式:双LLM架构重塑用户兴趣挖掘
llm·推荐算法·闭环困境
Baihai_IDP1 天前
GenAI 时代,数据唾手可得,但真正的挑战已经转变...
人工智能·llm·openai
卓越进步1 天前
MCP Server架构设计详解:一文掌握框架核心
大模型·llm·go·后端开发·mcp