macos电脑本地搭建mistral-7b大模型出现4-bit量化和缓存不足问题的记录

问题背景

本人想再本地笔记本电脑上搭建一个mistral-7b的大模型,在搭建的过程中,出现了4-bit量化模式无法处理的问题,以及电脑内存/显存不足的问题,导致无法搭建

电脑硬件信息

名称:2019 Mac book pro

内存:32G

硬盘:512G

无独立显卡

大模型信息

名称:mistralai/Mixtral-8x7B-Instruct-v0.1

下载地址:https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1

文件个数:36

文件总大小:177G

模型特点:开源 | 免费

错误信息

4-bit量化错误

启用4-bit量化模式时,需要安装最新的bitsandbytes模块,当前(2025.06.18)该模块最新的版本是0.46,但是由于苹果电脑芯片的原因,pytorch并未出macos版本的,故适配于macos版本的当前只停留在了0.42版本,无法升级。可以参考这篇文章。故无法搭建

电脑内存/显存不足错误

这个问题就是电脑硬件的问题了,内存或者是显存不足,导致无法分配空间

解决方式

1、别搭建了,早点洗洗睡

2、选择云服务器,但是成本可能就高了

3、自己拥有一个性能比较强悍的笔记本 or 台式机 or 服务器。

备注:有钱人选择,你值得拥有

END

相关推荐
小溪彼岸5 小时前
macOS自带截图命令ScreenCapture
macos
-Xie-11 小时前
Mysql杂志(十六)——缓存池
数据库·mysql·缓存
七夜zippoe11 小时前
缓存与数据库一致性实战手册:从故障修复到架构演进
数据库·缓存·架构
weixin_4569042712 小时前
跨域(CORS)和缓存中间件(Redis)深度解析
redis·缓存·中间件
TESmart碲视12 小时前
Mac 真正多显示器支持:TESmart USB-C KVM(搭载 DisplayLink 技术)如何实现
macos·计算机外设·电脑
MarkHard12321 小时前
如何利用redis使用一个滑动窗口限流
数据库·redis·缓存
智慧地球(AI·Earth)1 天前
给AI配一台手机+电脑?智谱AutoGLM上线!
人工智能·智能手机·电脑
心想事成的幸运大王1 天前
Redis的过期策略
数据库·redis·缓存
2501_915106321 天前
Xcode 上传 ipa 全流程详解 App Store 上架流程、uni-app 生成 ipa 文件上传与审核指南
android·macos·ios·小程序·uni-app·iphone·xcode
他们都不看好你,偏偏你最不争气1 天前
【iOS】AFNetworking
开发语言·macos·ios·objective-c