16. M5 Max 128GB内存能支持的最大模型 (2) ❀ 老梅子学AI

  【简介】虽然知道MLX-Serve很好,但是要敲命令,对电脑不熟悉的就头大了,想想还是LM Studio简单方便,那还有没有在LM Studio下可以用的占满128G内存的大模型呢?


ChatGPT 的推荐

  虽然ChatGPT介绍大模型的时候有点不靠谱(介绍了一个LM Studio下不能用的107G大模型),但是人无完人不是。

  ① ChatGPT 给我推荐了 unsloth/Qwen3.8-Flash-Next-GGUF 这个模型。

  ② 回到LM Studio,一搜索,还真有这个模型。点击下载选项里模型右边菜单按钮。

  ③ 这回学精了,不选择超过100G的大模型,这里选择94.59GB的,试试能不能正常用。

  ④ 好不容易下载完成,得亏买的是2T硬盘的,不然多下几个模型都不够存放了。还是老规则,重新Mac后启动LM Studio装载新下载的模型。启动后系统约占10G内存。

  ⑤ 这次查看内存,AI RUNTIME 显示 LM Studio 占了95GB内存。离我们的预想进了一步,下面试试这个模型好不好用。

模型测试

  由于对这个模型不了解,我们先简单测试一下。

  ① 在LM Studio聊天窗口,模型选择Qwen3.8-Flash-Next-GGUF,让写一个1000字的作文。上次用Qwen3.8-27B 8bit这个模型的时候,同样问题就卡住死循环了。当然也不排除是我设置错了。

  ② 本地AI思考了3.46秒,就给出了1000字的作文。

  ③ 鼠标移到未尾第一个秒表图标上,会弹出一些显示信息。

  38.28 token/s 是生成速度(吞吐率):模型每秒输入出约38.28个token,token是模型处理文本的最小单位,中文里大致1~2个字算一个token,这个值越高,回答"吐字"越快。

  828 token 是本次输出的总长度:这篇作文一共生成了约828个token,注意是token数,不是汉字字数。

  1.42s 是耗时:本次生成过程所花时间。

  停止原因:检查到EOS token 里的EOS=End Of Sequence(序列结束符),是词表里一个特殊的控制标记,相当于告诉模型"话说完了,可以停笔"。

  ③ 让本地AI生成一张图片,可惜不支持图片生成,但是可以生成中、英文提示词。

  ④ 文字的生成速度和第一个相差不大,37 token/s。

  ⑤ 上点强度,这里上传了一张照让,让本地AI识别照片是哪里,并安排吃、住行程,这次反应时间是26.40秒。

  ⑥ 本地AI成功的识别出了照片上的地址,并安排了一系列的行程,感觉和互联网上的AI给出的答案大差不差。文字生成速度仍然是 37 token/s。

  ⑦ 为了验证没有从互联网上查找答案,我这里关掉Mac的无线,网线没插,Mac是无网状态。

  ⑧ 让本地AI背讼腾王阁序,这次思考了一分钟,仍然给出了答案。

  ⑨ 查看系统状态,CPU和GPU都在狂运行,特别是GPU。

  ⑩ 最后查看生成速度,36 token/s,也就是说这个模型生成速度始终在36~38 token/s之间。很奇怪,都没网了,它是怎么算出这个腾王阁序来的?

  ⑪ 最后还是不死心,在没联网的情况下让它背个出师表,嘿,人家还真背出来了,有谁能解释解释这是啥原理吗?

  ⑫ 我把网连上,让它查一下股票行情,结果人家告诉我它没联网查询能力,看来本地运行是真的。


相关推荐
Yolanda_20224 分钟前
如何开发人工智能系统:从专家系统到机器学习
人工智能·机器学习
小天源12 分钟前
品牌 AI 智能监测与自动化采集系统
大数据·人工智能·自动化
Navicat中国16 分钟前
Navicat 18 支持 Azure OpenAI 接入,合规 AI 赋能 SQL 开发
数据库·人工智能·microsoft·ai·azure·navicat·数据
陈嘿萌18 分钟前
CVPR 2026|TherA:让可见光照片“懂冷热”,用文字和参考图控制红外生成
图像处理·人工智能·深度学习·计算机视觉·学术研究与理论基础
shxjnpl21 分钟前
MOSS-Transcribe-Diarize 0.9B 私有化部署实战:一个模型完成会议转写、说话人识别与时间戳
人工智能·语音识别·实时音视频
武汉唯众智创21 分钟前
心理健康中心 / 咨询室 / 宣泄室怎么建?从空间规划到 AI 系统的一体化方案
人工智能·ai心理健康·ai心理健康测评·心理健康中心建设·心理健康咨询室解决方案
SL_staff22 分钟前
APS落地失败的5个隐形坑:离散制造排产为何总在Excel里打转?
java·人工智能·开源
Yolanda_202225 分钟前
神经网络基础原理-使用梯度下降训练二次函数模型简单示例
人工智能·深度学习·神经网络
倔强的石头10633 分钟前
持续预训练实战_让基础模型适配垂直领域
人工智能·深度学习
段一凡-华北理工大学37 分钟前
高炉炼铁机器视觉与智能识别十八讲~系列文章15:可靠性篇:防误报、容错与识别系统的鲁棒性设计
人工智能·算法·机器学习·高炉大模型·高炉机器视觉·高炉炼铁模型开发