大家好,我是搞自动化的大飞~
好久不见,前一段时间因为太忙了,所以偷懒了几天
MiMo-V2.6 Pro和Flash发布了,网上各种测评分析满天飞,什么超越Kimi K3、DeepSeek V4之类的。
说实话,这种营销我已经看倦了,看烦了
我反而更关心MiMo-V2.6-Distill-Qwen-9B这种可以直接部署在本地电脑上的小模型效果到底如何
在AI调用几乎需要订阅付费的年代,可以自己部署使用的话,那岂不是美哉?
配置要求
-
内存:8GB 以上内存的笔记本,16G更好
-
储存 :AI模型文件 7-8GB,解压后大概占用10G 空间
-
安装工具 :老朋友 LM Studio,对Mac的兼容性最好
安装
安装LM Studio,并打开
👉 下载地址:LM Studio - 发现、下载并运行本地大型语言模型 (LLMs) - LM Studio 应用程序
点击"搜索"

直接搜索 "MiMo-V2.6-Distill-Qwen-9B"
⚠️:Mac上最好使用MLX格式,记得选mlx-community发布的(MLX的官方社区,质量和安全性有保障)

点击"下载",然后就静静等待下载完成就可以了

打开"下载模型",就可以正常对话使用了
⚠️:如果遇到无法启动的问题,记得更新一下LM Studio软件版本,大概率可以解决

测评正式开始
经典问题之------"你是谁?"
反应速度很快,很满意🤭

经典问题之------"我家附近50米就有个洗车店,请问我应该怎么去?"
沦陷了........还是个中看不中用的家伙
但反应速度这次真的OK了(但我还是说早了,下边就啪啪打脸😂)

看来本地部署大模型的推理能力和年初的时候没啥太大的进步
虽然AI陷阱没能躲过去,但万一实际应用有不少进步呢?我们是客观的😎
正好前天有一个投资问题:
我读了一篇文章(金钱心理学这本书里),作者反复强调一个观点:投资、理财其中发挥最大的作用的------就是要长期持有。在时间的复利下,长期持有的亏损概率会非常低。5年可能会出现亏损,10年可能亏损,但是坚持10年、20年的话,总体收益一定是正向的,你觉得这个说法是客观的吗?是符合市场规律的吗?
DeepSeek 用时3s,回复用时3s

MiMo-9B用时5min,回复用时2min,日常几乎不可用

但值得注意,两个AI的回答都比较靠谱了,比较以前本地小模型就是个会胡说八道的打字机😂
但说实话,对MiMo-V2.6-Distill-Qwen-9B 这个本地模型还是失望 > 惊喜的
大家把所有注意力都放在了付费大模型的训练上,对本地能跑的小模型,推理处理能力并没有太大的开发动力。因为开源自部署,就意味着没法变现赚钱。
但我觉得,这类模型才是真正考验AI能否大力推广的关键一步。
就像现在的手机都有云端服务,但真正开通付费云端的还是少数。大家手机上的存储是实实在在的,云端存储受网络质量、服务质量、运营商影响,还是不够稳定,所以大家更倾向于实体存储。
AI大模型也是一样的道理。AI不可能一直免费烧钱下去,最终场景就类似于云服务,需要付费才能用。国内的豆包已经开始了这种模式。
但真正落到每个用户身上,我想还是本地模型帮我们解决生活中80%-90%的问题,剩下的10%-15%非常难搞的,才会考虑用云端那种比较强和贵的大模型。
可现在大家对本地小模型一点也不上心。除了最近Kimi和MiMo发布了本地部署的小模型之外,甚至都没人研究发布小模型了。
这正是我所担心的。
你觉得本地小模型还有戏吗?评论区聊聊,下期见👋