M2 Mac mini跑Llama3

前言

在4-19左右,Meta 宣布正式推出下一代开源大语言模型Llama 3;共包括 80 亿和 700 亿参数两种版本,号称 "是 Llama 2 的重大飞跃",并为这些规模的 LLM 确立了新的标准。实际上笔者早就体验过,只不过自己电脑没什么显卡(核显),所以一直没跑llama,但是最近听说m2芯片可以运行,就体验了一下。

看图表8B的数据可以在本地运行,70B就不用想了。试了一下真的可行。

使用Ollama

ollama:Get up and running with large language models.实际上就是封装已经训练的模型数据,提供运行程序

分为ollama的安装,拉取模型数据,运行模型

安装很简单:Download Ollama on macOS

mac直接解压app,放在applications下,运行后点击install,输入密码即可,实际上是安装ollama指令。

模型文件:https://ollama.com/library

ollama pull llama3

根据电脑的配置情况,默认llama即8B模型,如果要运行70B:ollama run llama3:70b,估计需要64G内存,没这么大的,所以只跑了8B

然后执行run,有点docker的设计思想

ollama run llama3

基本上问答是英文,训练的语料估计主要是国外的,毕竟meta开源

总结

实际上就是本地体验一下,如果要调模型还是相对难一些,体验发现llama3主要是英文答复,不过8B模型在mac mini运行还是很快的,另外可以根据提示做一些Ollama的指令,关键的是load model和save model,可以载入和存储模型。

相关推荐
Dawson Zhu1 天前
【分布式训练⑧】通信优化:NCCL、Ring AllReduce与计算通信重叠
人工智能·语言模型·架构·aigc·agi
Eloudy2 天前
从 DeepSeek-V1 到 DeepSeek-V2:一次从“堆稠密参数”到“稀疏计算+压缩缓存”的架构转向
gpt·llm·transformer
Dawson Zhu3 天前
【分布式训练④】张量并行与序列并行:把单层参数切碎分到多张卡
人工智能·语言模型·架构·aigc·agi
如夏倾城3 天前
百度文心(容易被忽略的好用AI)使用方式
人工智能·python·百度·语言模型·dubbo
xiaoye-duck3 天前
《C++ 项目:手写大模型接入 SDK》会话模块整合:内存 SessionManager 与 DataManager 持久化联动
开发语言·数据库·c++·语言模型
syyjhchou3 天前
自己搭企业内部中转站,怎么让请求更容易命中缓存
人工智能·后端·语言模型·aigc
高洁013 天前
数据同化与动态状态估计:让孪生持续贴合现实
人工智能·python·深度学习·transformer·迁移学习
Dawson Zhu4 天前
Queen Planner深度解析:Agent竞争从模型时代进入系统时代
人工智能·语言模型·架构·aigc·agi
硅谷秋水4 天前
EgoHumanoid‑V2 方法分析
人工智能·机器学习·计算机视觉·语言模型·机器人
一起学安全技术5 天前
拆大模型 06|Prompt 工程不靠玄学:上下文要当程序写
人工智能·语言模型·prompt·aigc