macos电脑本地搭建mistral-7b大模型出现4-bit量化和缓存不足问题的记录

问题背景

本人想再本地笔记本电脑上搭建一个mistral-7b的大模型,在搭建的过程中,出现了4-bit量化模式无法处理的问题,以及电脑内存/显存不足的问题,导致无法搭建

电脑硬件信息

名称:2019 Mac book pro

内存:32G

硬盘:512G

无独立显卡

大模型信息

名称:mistralai/Mixtral-8x7B-Instruct-v0.1

下载地址:https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1

文件个数:36

文件总大小:177G

模型特点:开源 | 免费

错误信息

4-bit量化错误

启用4-bit量化模式时,需要安装最新的bitsandbytes模块,当前(2025.06.18)该模块最新的版本是0.46,但是由于苹果电脑芯片的原因,pytorch并未出macos版本的,故适配于macos版本的当前只停留在了0.42版本,无法升级。可以参考这篇文章。故无法搭建

电脑内存/显存不足错误

这个问题就是电脑硬件的问题了,内存或者是显存不足,导致无法分配空间

解决方式

1、别搭建了,早点洗洗睡

2、选择云服务器,但是成本可能就高了

3、自己拥有一个性能比较强悍的笔记本 or 台式机 or 服务器。

备注:有钱人选择,你值得拥有

END

相关推荐
利威尔xu11 小时前
Go IM 源码实战(14):本地缓存快 3000 倍,失效却难 10 倍
后端·缓存·微服务·面试·golang
程序猿编码17 小时前
解决 LLM 算力浪费,一套统一 KV 管理层实现缓存复用
人工智能·神经网络·机器学习·缓存·llm·大模型推理
TST-魚爷17 小时前
小型视频会议室音频踩坑:一体化拾音扩音方案实测分享(易视讯)
stm32·电脑·音视频·钉钉·腾讯会议·zoom会议
zrc00700721 小时前
steam无法登录 steam错误 登录时出现错误。请稍后再试。解决办法 steam无法登录解决办法 湖南地区steam DNS问题解决办法
windows·经验分享·游戏·缓存·游戏程序·创业创新·玩游戏
CCblandy21 小时前
缓存淘汰实测:一次全表扫描把 LRU 命中率从 46% 打到 38%,W-TinyLFU 守住 50% 却贵 11 倍
后端·python·缓存·性能优化·架构
Wang's Blog21 小时前
Java 项目实战: 交友项目 - 小视频模块实战:访客记录、FastDFS 存储与 SpringCache 缓存
java·缓存·交友
麻瓜code1 天前
双写一致性:为什么是“删缓存“,而不是“改缓存“
java·缓存·mybatis
snow@li1 天前
redis:RedisDesktopManager(RDM/RESP.app)Redis 数据可视化全景深度梳理
数据库·redis·缓存
你看我名字1 天前
Redis 高可用、持久化与故障切换:从缓存组件到云上基础设施
数据库·redis·缓存
二月夜1 天前
Redis 高频面试题全解:缓存三大问题、大 key 治理与分布式锁之争(2026 招聘 JD 真题复盘)
redis·分布式·后端·缓存