macos电脑本地搭建mistral-7b大模型出现4-bit量化和缓存不足问题的记录

问题背景

本人想再本地笔记本电脑上搭建一个mistral-7b的大模型,在搭建的过程中,出现了4-bit量化模式无法处理的问题,以及电脑内存/显存不足的问题,导致无法搭建

电脑硬件信息

名称:2019 Mac book pro

内存:32G

硬盘:512G

无独立显卡

大模型信息

名称:mistralai/Mixtral-8x7B-Instruct-v0.1

下载地址:https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1

文件个数:36

文件总大小:177G

模型特点:开源 | 免费

错误信息

4-bit量化错误

启用4-bit量化模式时,需要安装最新的bitsandbytes模块,当前(2025.06.18)该模块最新的版本是0.46,但是由于苹果电脑芯片的原因,pytorch并未出macos版本的,故适配于macos版本的当前只停留在了0.42版本,无法升级。可以参考这篇文章。故无法搭建

电脑内存/显存不足错误

这个问题就是电脑硬件的问题了,内存或者是显存不足,导致无法分配空间

解决方式

1、别搭建了,早点洗洗睡

2、选择云服务器,但是成本可能就高了

3、自己拥有一个性能比较强悍的笔记本 or 台式机 or 服务器。

备注:有钱人选择,你值得拥有

END

相关推荐
心灵宝贝1 小时前
Mac Unity 2018.dmg游戏工具 安装步骤 简单易懂教程(附安装包)
macos·unity·游戏引擎
大猫子的技术日记11 小时前
[百题重刷]前缀和 + Hash 表:缓存思想, 消除重复计算
java·缓存·哈希算法
学习非暴力沟通的程序员11 小时前
Mac 自动定时打开指定URL(无日历版)操作文档
macos
愤怒的山羊12 小时前
jetcache List 缓存, json 序列化 泛型解析成了 JsonObject 处理
缓存·json·list
树在风中摇曳12 小时前
带哨兵位的双向循环链表详解(含 C 代码)+ LeetCode138 深度解析 + 顺序表 vs 链表缓存机制对比(图解 CPU 层级)
c语言·链表·缓存
斯文~16 小时前
「玩透ESA」站点配置阿里云ESA全站加速+自定义规则缓存
阿里云·缓存·云计算·cdn·esa
S***t71416 小时前
Python装饰器实现缓存
缓存
天硕国产存储技术站17 小时前
3000次零失误验证,天硕工业级SSD筑牢国产SSD安全存储方案
缓存·固态硬盘·国产ssd
前端炒粉20 小时前
35.LRU 缓存
开发语言·javascript·数据结构·算法·缓存·js
努力发光的程序员1 天前
互联网大厂Java面试:从Spring Boot到微服务架构
spring boot·缓存·微服务·消息队列·rabbitmq·spring security·安全框架