llama.cpp:PC端测试 MobileVLM -- 电脑端部署图生文大模型

llama.cpp:PC端测试 MobileVLM


1.环境需要

以下是经实验验证可行的环境参考,也可尝试其他版本。

(1)PC:Ubuntu 22.04.4

(2)软件环境:如下表所示

工具 版本 安装
Anaconda 2021.05 参考:Anaconda3安装及使用
cmake 3.26.0 conda install -c conda-forge cmake ; conda install -c conda-forge c-compiler ; conda install -c conda-forge cxx-compiler
make 4.4.1 conda install -c conda-forge make
ndk android-ndk-r26c 官网下载解压,设置环境变量
adb 1.0.41 conda install -c conda-forge adb
git 2.34.1 sudo apt-get update ; sudo apt-get install git
git-lfs 3.6.0 sudo apt-get install git-lfs

2.构建项目

(1)克隆项目:

shell 复制代码
git lfs install
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

(2)PC构建:

shell 复制代码
cmake -B build
cmake --build build --config Release

(3)下载文件:

去hf-mirror.com下载gguf模型,以MobileVLM为例:

shell 复制代码
# https://hf-mirror.com/guinmoon/MobileVLM-1.7B-GGUF/tree/main
git lfs install
git clone https://hf-mirror.com/guinmoon/MobileVLM-1.7B-GGUF  ./models/MobileVLM-1.7B-GGUF
git clone https://hf-mirror.com/guinmoon/MobileVLM-3B-GGUF  ./models/MobileVLM-3B-GGUF

将你想推理的image.jpg放到./img目录。

3.PC测试

shell 复制代码
./build/bin/llama-llava-cli \
    -m ./models/MobileVLM-1.7B/ggml-model-q4_k.gguf \
    --mmproj ./models/MobileVLM-1.7B/mmproj-model-f16.gguf \
    --image ./img/image.jpg \
    -p "图像中有什么内容?"

.


声明:资源可能存在第三方来源,若有侵权请联系删除!

相关推荐
CoderLiu2 小时前
用这个MCP,只给大模型一个figma链接就能直接导出图片,还能自动压缩上传?
前端·llm·mcp
智泊AI7 小时前
大语言模型LLM底层技术原理到底是什么?大型语言模型如何工作?
llm
moonless02227 小时前
🌈Transformer说人话版(二)位置编码 【持续更新ing】
人工智能·llm
小爷毛毛_卓寿杰7 小时前
基于大模型与知识图谱的对话引导意图澄清系统技术解析
人工智能·llm
聚客AI7 小时前
解构高效提示工程:分层模型、文本扩展引擎与可视化调试全链路指南
人工智能·llm·掘金·日新计划
AI大模型11 小时前
LangGraph官方文档笔记(4)——提示聊天机器人
程序员·langchain·llm
Baihai_IDP11 小时前
vec2text 技术已开源!一定条件下,文本嵌入向量可“近乎完美地”还原
人工智能·面试·llm
养心进行时12 小时前
为什么模型训练中会有“机器评分高,但人工评分却很差”的情况?
llm
养心进行时13 小时前
大模型微调后,可上线的标准是什么?
llm
Chirp13 小时前
代码层面上解读Florence2模型,专用于视觉任务的小体积语言模型
llm