macos电脑本地搭建mistral-7b大模型出现4-bit量化和缓存不足问题的记录

问题背景

本人想再本地笔记本电脑上搭建一个mistral-7b的大模型,在搭建的过程中,出现了4-bit量化模式无法处理的问题,以及电脑内存/显存不足的问题,导致无法搭建

电脑硬件信息

名称:2019 Mac book pro

内存:32G

硬盘:512G

无独立显卡

大模型信息

名称:mistralai/Mixtral-8x7B-Instruct-v0.1

下载地址:https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1

文件个数:36

文件总大小:177G

模型特点:开源 | 免费

错误信息

4-bit量化错误

启用4-bit量化模式时,需要安装最新的bitsandbytes模块,当前(2025.06.18)该模块最新的版本是0.46,但是由于苹果电脑芯片的原因,pytorch并未出macos版本的,故适配于macos版本的当前只停留在了0.42版本,无法升级。可以参考这篇文章。故无法搭建

电脑内存/显存不足错误

这个问题就是电脑硬件的问题了,内存或者是显存不足,导致无法分配空间

解决方式

1、别搭建了,早点洗洗睡

2、选择云服务器,但是成本可能就高了

3、自己拥有一个性能比较强悍的笔记本 or 台式机 or 服务器。

备注:有钱人选择,你值得拥有

END

相关推荐
神の愛5 分钟前
mybatis什么时候不走 缓存??
spring·缓存·mybatis
秋雨梧桐叶落莳41 分钟前
【iOS】 AutoLayout初步学习
学习·macos·ios·objective-c·cocoa·xcode
014-code1 小时前
Redis 删除缓存失败怎么办?重试、死信、补偿的工程化方案
数据库·redis·缓存
rannn_1111 小时前
【Redis|高级篇1】分布式缓存|持久化(RDB、AOF)、主从集群、哨兵、分片集群
java·redis·分布式·后端·缓存
UnicornDev1 小时前
从零开始学iOS开发(第六篇):协议与扩展 —— 写出灵活可复用的Swift代码
macos·objective-c·cocoa
还在忙碌的吴小二1 小时前
在 Mac 上安装并通过端口调用 Chrome DevTools MCP Server(谷歌官方 MCP 服务器)
服务器·前端·chrome·macos·chrome devtools
難釋懷1 小时前
认识Canal
缓存
ACP广源盛1392462567312 小时前
破局 Type‑C 切换器痛点@ACP#GSV6155+LH3828/GSV2221+LH3828 黄金方案
c语言·开发语言·网络·人工智能·嵌入式硬件·计算机外设·电脑
難釋懷18 小时前
缓存同步
spring·缓存·mybatis
sysinside19 小时前
macOS Tahoe 26.4.1 (25E253) 正式版 ISO、IPSW、PKG 下载
macos·tahoe