技术栈
openbmb
木圭的AI时代指南
14 天前
人工智能
·
ai
·
本地部署
·
openbmb
·
端侧大模型
·
minicpm-v 4.7
MiniCPM-V 4.7 35B-A3B 本地部署实录：RTX 3070 8GB 显存跑多模态，36 token/s
摘要：19.7GiB 的模型文件跑在 8GB 显存的 RTX 3070 上，本文给出完整启动参数、三组性能实测（纯文字 / 看图 / 1B 对照）、显卡负载对比，以及 llama.cpp 版本、mlock 加载、视频输入三个坑。核心结论：35B 能跑，但瓶颈不在显卡在内存带宽。
攻城狮7号
1 年前
人工智能
·
开源大模型
·
openbmb
·
端侧大模型
·
minicpm-v-4
MiniCPM-V 4.0开源，号称是手机上的GPT-4V
目录前言一、“小钢炮”的逆袭：4B参数如何比肩云端巨头？二、告别“暖手宝”：为手机而生的极致效率三、最好的开源，是让你“开箱即用”：开发者的福音CookBook
HuggingFace
2 年前
hugging face
·
openbmb
·
thunlp
OpenBMB × Hugging Face × THUNLP，联袂献上经典大模型课
这个夏天，THUNLP 携手 Hugging Face 和 OpenBMB，推出 大模型公开课第二季。在大模型公开课第二季中，将有全球知名开源社区 OpenBMB X Hugging Face 梦幻联动；MiniCPM、ChatDev、Ultra对齐 等明星开源项目作者亲自授课，带领同学从深度学习开始快速了解大模型的相关理论并进行实践。
我是有底线的