MiMo-V2.6-Distill-Qwen-9B 本地部署实测:8GB内存可跑,但推理能力让人失望

大家好,我是搞自动化的大飞~

好久不见,前一段时间因为太忙了,所以偷懒了几天

MiMo-V2.6 Pro和Flash发布了,网上各种测评分析满天飞,什么超越Kimi K3、DeepSeek V4之类的。

说实话,这种营销我已经看倦了,看烦了

我反而更关心MiMo-V2.6-Distill-Qwen-9B这种可以直接部署在本地电脑上的小模型效果到底如何

在AI调用几乎需要订阅付费的年代,可以自己部署使用的话,那岂不是美哉?

配置要求

  • 内存:8GB 以上内存的笔记本,16G更好

  • 储存 :AI模型文件 7-8GB,解压后大概占用10G 空间

  • 安装工具 :老朋友 LM Studio,对Mac的兼容性最好

安装

安装LM Studio,并打开

👉 下载地址:LM Studio - 发现、下载并运行本地大型语言模型 (LLMs) - LM Studio 应用程序

点击"搜索"

直接搜索 "MiMo-V2.6-Distill-Qwen-9B"

⚠️:Mac上最好使用MLX格式,记得选mlx-community发布的(MLX的官方社区,质量和安全性有保障)

点击"下载",然后就静静等待下载完成就可以了

打开"下载模型",就可以正常对话使用了

⚠️:如果遇到无法启动的问题,记得更新一下LM Studio软件版本,大概率可以解决

测评正式开始

经典问题之------"你是谁?"

反应速度很快,很满意🤭

经典问题之------"我家附近50米就有个洗车店,请问我应该怎么去?"

沦陷了........还是个中看不中用的家伙

但反应速度这次真的OK了(但我还是说早了,下边就啪啪打脸😂)

看来本地部署大模型的推理能力和年初的时候没啥太大的进步

虽然AI陷阱没能躲过去,但万一实际应用有不少进步呢?我们是客观的😎

正好前天有一个投资问题:

我读了一篇文章(金钱心理学这本书里),作者反复强调一个观点:投资、理财其中发挥最大的作用的------就是要长期持有。在时间的复利下,长期持有的亏损概率会非常低。5年可能会出现亏损,10年可能亏损,但是坚持10年、20年的话,总体收益一定是正向的,你觉得这个说法是客观的吗?是符合市场规律的吗?

DeepSeek 用时3s,回复用时3s

MiMo-9B用时5min,回复用时2min,日常几乎不可用

但值得注意,两个AI的回答都比较靠谱了,比较以前本地小模型就是个会胡说八道的打字机😂

但说实话,对MiMo-V2.6-Distill-Qwen-9B 这个本地模型还是失望 > 惊喜的

大家把所有注意力都放在了付费大模型的训练上,对本地能跑的小模型,推理处理能力并没有太大的开发动力。因为开源自部署,就意味着没法变现赚钱。

但我觉得,这类模型才是真正考验AI能否大力推广的关键一步。

就像现在的手机都有云端服务,但真正开通付费云端的还是少数。大家手机上的存储是实实在在的,云端存储受网络质量、服务质量、运营商影响,还是不够稳定,所以大家更倾向于实体存储。

AI大模型也是一样的道理。AI不可能一直免费烧钱下去,最终场景就类似于云服务,需要付费才能用。国内的豆包已经开始了这种模式。

但真正落到每个用户身上,我想还是本地模型帮我们解决生活中80%-90%的问题,剩下的10%-15%非常难搞的,才会考虑用云端那种比较强和贵的大模型。

可现在大家对本地小模型一点也不上心。除了最近Kimi和MiMo发布了本地部署的小模型之外,甚至都没人研究发布小模型了。

这正是我所担心的。

你觉得本地小模型还有戏吗?评论区聊聊,下期见👋

相关推荐
AAA小肥杨16 分钟前
transformer库中的kv cache分析与调试
人工智能
染指111022 分钟前
158.Agent-LangGraph-子图(共享状态和不共享状态模式)
开发语言·人工智能·python·ui·agent·agents
会议咨询26 分钟前
2027年智慧能源、大数据应用与人工智能国际会议(SEBA 2027)
大数据·人工智能·能源
执伞人ONLY31 分钟前
AI知识库自动化知识加工没做对,人工整理永远追不上知识产生
运维·人工智能·自动化
原哥yuanGe41 分钟前
Spring AI 实战:把内存换成 PgVector + Redis,让 RAG 服务重启不丢数据
ai编程
汤姆宝库1 小时前
安全深拆:越狱物理、注入攻击与纵深防御
人工智能·安全·机器学习·ai
康燕1 小时前
2026 AI 时代研发流程重构:一份 AI4SE 日常节奏清单 + 新 SWOT 自检框架
ai·ai提效·ai4se·ai超级个体
微尘hjx1 小时前
【AI视觉软件 03】基于 Ultralytics + DeepSORT 的多目标跟踪与改进(支持YOLO全系列,重点车跟踪)
人工智能·yolo·目标跟踪·视觉检测·deepsort·ultralytics·车跟踪
粥里有勺糖1 小时前
视野修炼-技术周刊第137期 | 编程已经面目全非
前端·github·ai编程