macos电脑本地搭建mistral-7b大模型出现4-bit量化和缓存不足问题的记录

问题背景

本人想再本地笔记本电脑上搭建一个mistral-7b的大模型,在搭建的过程中,出现了4-bit量化模式无法处理的问题,以及电脑内存/显存不足的问题,导致无法搭建

电脑硬件信息

名称:2019 Mac book pro

内存:32G

硬盘:512G

无独立显卡

大模型信息

名称:mistralai/Mixtral-8x7B-Instruct-v0.1

下载地址:https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1

文件个数:36

文件总大小:177G

模型特点:开源 | 免费

错误信息

4-bit量化错误

启用4-bit量化模式时,需要安装最新的bitsandbytes模块,当前(2025.06.18)该模块最新的版本是0.46,但是由于苹果电脑芯片的原因,pytorch并未出macos版本的,故适配于macos版本的当前只停留在了0.42版本,无法升级。可以参考这篇文章。故无法搭建

电脑内存/显存不足错误

这个问题就是电脑硬件的问题了,内存或者是显存不足,导致无法分配空间

解决方式

1、别搭建了,早点洗洗睡

2、选择云服务器,但是成本可能就高了

3、自己拥有一个性能比较强悍的笔记本 or 台式机 or 服务器。

备注:有钱人选择,你值得拥有

END

相关推荐
他们都不看好你,偏偏你最不争气11 小时前
【iOS】Runtime - Part 2 && 消息发送:缓存、查找与转发
macos·ios·objective-c·cocoa
Deepzz11 小时前
macOS 上调教第三方鼠标的一些经验:从滚动顺滑到输入法自动切换
macos·swift·鼠标
Saniffer_SH13 小时前
【高清视频】Gen6 服务器还没到,Gen6 SSD 怎么测?Emily 现场演示三种测试环境
人工智能·驱动开发·测试工具·缓存·fpga开发·计算机外设·压力测试
whyfail14 小时前
Colima:把 Docker Desktop 从 Mac 上“瘦身”的那把刀
macos·docker·容器
AC赳赳老秦16 小时前
OpenClaw + 飞书多维表格:自动同步数据、生成统计图表、触发自动化任务
java·大数据·python·缓存·自动化·deepseek·openclaw
他们都不看好你,偏偏你最不争气16 小时前
【iOS】Runtime - Part 1 && 对象与类的本质
macos·ios·objective-c·cocoa
想你依然心痛17 小时前
手机远程控制电脑教程:安卓iOS远程桌面推荐、免费工具配置与远程办公技巧
android·智能手机·电脑
阿猫的故乡17 小时前
Vue动态组件+异步组件实战:Tab切换、按需加载、KeepAlive缓存,一次搞定
前端·vue.js·缓存
王小王-12317 小时前
基于电脑硬件市场数据分析与可视化系统
数据库·数据分析·django·sqlite·电脑·电脑硬件数据·电脑硬件市场分析
老高学长18 小时前
企业如何对局域网电脑进行监控?五个局域网电脑实时监控的方法分享,全方位监控电脑
网络·安全·电脑