macos电脑本地搭建mistral-7b大模型出现4-bit量化和缓存不足问题的记录

问题背景

本人想再本地笔记本电脑上搭建一个mistral-7b的大模型,在搭建的过程中,出现了4-bit量化模式无法处理的问题,以及电脑内存/显存不足的问题,导致无法搭建

电脑硬件信息

名称:2019 Mac book pro

内存:32G

硬盘:512G

无独立显卡

大模型信息

名称:mistralai/Mixtral-8x7B-Instruct-v0.1

下载地址:https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1

文件个数:36

文件总大小:177G

模型特点:开源 | 免费

错误信息

4-bit量化错误

启用4-bit量化模式时,需要安装最新的bitsandbytes模块,当前(2025.06.18)该模块最新的版本是0.46,但是由于苹果电脑芯片的原因,pytorch并未出macos版本的,故适配于macos版本的当前只停留在了0.42版本,无法升级。可以参考这篇文章。故无法搭建

电脑内存/显存不足错误

这个问题就是电脑硬件的问题了,内存或者是显存不足,导致无法分配空间

解决方式

1、别搭建了,早点洗洗睡

2、选择云服务器,但是成本可能就高了

3、自己拥有一个性能比较强悍的笔记本 or 台式机 or 服务器。

备注:有钱人选择,你值得拥有

END

相关推荐
接着奏乐接着舞。10 小时前
【2026】73道Redis 常见面试题与参考答案
数据库·redis·后端·缓存
kingbal16 小时前
MAC:chatgpt登陆报错签名异常
macos·chatgpt
k4m7v2pz16 小时前
macOS 窗口最小化:三种写法的实测对比与可复用脚本
macos·窗口管理·截屏·applescript·bevy·ai自动化
kakakahahahaha16 小时前
【Windows】C盘拒绝访问0x80070005的7步排查
windows·电脑·内容运营·软件需求
Seraphina3617 小时前
记一次实验:利用缓存服务器规范化技术进行网页缓存欺骗
经验分享·笔记·网络安全·缓存
草莓熊Lotso2 天前
【Redis 初阶】Set 类型深度解析:去重集合的运算能力与实战场景
linux·网络·数据库·windows·redis·tcp/ip·缓存
云存储小天使2 天前
训练效率提升50%以上:GooseFS 写缓存及其在具身智能数据处理中的应用
缓存·腾讯云·对象存储·goosefs
程序员夏洛3 天前
Redis 数据过期后的删除策略是什么?
数据库·redis·缓存
鱼鳞_3 天前
热门八股-Redis
数据库·redis·缓存
hweiyu003 天前
Redis命令:MIGRATE
redis·缓存