MiMo-V2.6-Distill-Qwen-9B 本地部署实测:8GB内存可跑,但推理能力让人失望

大家好,我是搞自动化的大飞~

好久不见,前一段时间因为太忙了,所以偷懒了几天

MiMo-V2.6 Pro和Flash发布了,网上各种测评分析满天飞,什么超越Kimi K3、DeepSeek V4之类的。

说实话,这种营销我已经看倦了,看烦了

我反而更关心MiMo-V2.6-Distill-Qwen-9B这种可以直接部署在本地电脑上的小模型效果到底如何

在AI调用几乎需要订阅付费的年代,可以自己部署使用的话,那岂不是美哉?

配置要求

  • 内存:8GB 以上内存的笔记本,16G更好

  • 储存 :AI模型文件 7-8GB,解压后大概占用10G 空间

  • 安装工具 :老朋友 LM Studio,对Mac的兼容性最好

安装

安装LM Studio,并打开

👉 下载地址:LM Studio - 发现、下载并运行本地大型语言模型 (LLMs) - LM Studio 应用程序

点击"搜索"

直接搜索 "MiMo-V2.6-Distill-Qwen-9B"

⚠️:Mac上最好使用MLX格式,记得选mlx-community发布的(MLX的官方社区,质量和安全性有保障)

点击"下载",然后就静静等待下载完成就可以了

打开"下载模型",就可以正常对话使用了

⚠️:如果遇到无法启动的问题,记得更新一下LM Studio软件版本,大概率可以解决

测评正式开始

经典问题之------"你是谁?"

反应速度很快,很满意🤭

经典问题之------"我家附近50米就有个洗车店,请问我应该怎么去?"

沦陷了........还是个中看不中用的家伙

但反应速度这次真的OK了(但我还是说早了,下边就啪啪打脸😂)

看来本地部署大模型的推理能力和年初的时候没啥太大的进步

虽然AI陷阱没能躲过去,但万一实际应用有不少进步呢?我们是客观的😎

正好前天有一个投资问题:

我读了一篇文章(金钱心理学这本书里),作者反复强调一个观点:投资、理财其中发挥最大的作用的------就是要长期持有。在时间的复利下,长期持有的亏损概率会非常低。5年可能会出现亏损,10年可能亏损,但是坚持10年、20年的话,总体收益一定是正向的,你觉得这个说法是客观的吗?是符合市场规律的吗?

DeepSeek 用时3s,回复用时3s

MiMo-9B用时5min,回复用时2min,日常几乎不可用

但值得注意,两个AI的回答都比较靠谱了,比较以前本地小模型就是个会胡说八道的打字机😂

但说实话,对MiMo-V2.6-Distill-Qwen-9B 这个本地模型还是失望 > 惊喜的

大家把所有注意力都放在了付费大模型的训练上,对本地能跑的小模型,推理处理能力并没有太大的开发动力。因为开源自部署,就意味着没法变现赚钱。

但我觉得,这类模型才是真正考验AI能否大力推广的关键一步。

就像现在的手机都有云端服务,但真正开通付费云端的还是少数。大家手机上的存储是实实在在的,云端存储受网络质量、服务质量、运营商影响,还是不够稳定,所以大家更倾向于实体存储。

AI大模型也是一样的道理。AI不可能一直免费烧钱下去,最终场景就类似于云服务,需要付费才能用。国内的豆包已经开始了这种模式。

但真正落到每个用户身上,我想还是本地模型帮我们解决生活中80%-90%的问题,剩下的10%-15%非常难搞的,才会考虑用云端那种比较强和贵的大模型。

可现在大家对本地小模型一点也不上心。除了最近Kimi和MiMo发布了本地部署的小模型之外,甚至都没人研究发布小模型了。

这正是我所担心的。

你觉得本地小模型还有戏吗?评论区聊聊,下期见👋

相关推荐
冬奇Lab14 分钟前
一天一个开源项目(第262篇):AG-UI —— 把 AI Agent 接进前端的开放协议,和 MCP、A2A 并列的第三块拼图
人工智能·开源
罗西的思考1 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
RobinDevNotes2 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
stormzhangV2 小时前
Coding Agent,通往 AGI 的重要一环
人工智能·agent·ai编程
花椒技术2 小时前
Genie 4 刷屏之后,AI 视频生成正在走向下一阶段
agent·ai编程·音视频开发
孟健3 小时前
用T3 Code手机远程控制Claude Code完成周报总结实测
开源·ai编程·claude
Bowen_J3 小时前
Apple Foundation Models:Apple AI核心框架
人工智能·ai编程·apple
IT_陈寒4 小时前
Redis那个过期删除策略,差点让我线上崩了
前端·人工智能·后端
ServBay4 小时前
Cursor披露恶意扩展,怎么守住本地 API Key
后端·ai编程·cursor
阿里云大数据AI技术4 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能