M2 Mac mini跑Llama3

前言

在4-19左右,Meta 宣布正式推出下一代开源大语言模型Llama 3;共包括 80 亿和 700 亿参数两种版本,号称 "是 Llama 2 的重大飞跃",并为这些规模的 LLM 确立了新的标准。实际上笔者早就体验过,只不过自己电脑没什么显卡(核显),所以一直没跑llama,但是最近听说m2芯片可以运行,就体验了一下。

看图表8B的数据可以在本地运行,70B就不用想了。试了一下真的可行。

使用Ollama

ollama:Get up and running with large language models.实际上就是封装已经训练的模型数据,提供运行程序

分为ollama的安装,拉取模型数据,运行模型

安装很简单:Download Ollama on macOS

mac直接解压app,放在applications下,运行后点击install,输入密码即可,实际上是安装ollama指令。

模型文件:https://ollama.com/library

ollama pull llama3

根据电脑的配置情况,默认llama即8B模型,如果要运行70B:ollama run llama3:70b,估计需要64G内存,没这么大的,所以只跑了8B

然后执行run,有点docker的设计思想

ollama run llama3

基本上问答是英文,训练的语料估计主要是国外的,毕竟meta开源

总结

实际上就是本地体验一下,如果要调模型还是相对难一些,体验发现llama3主要是英文答复,不过8B模型在mac mini运行还是很快的,另外可以根据提示做一些Ollama的指令,关键的是load model和save model,可以载入和存储模型。

相关推荐
这张生成的图像能检测吗15 分钟前
(论文速读)RMT:Retentive+ViT的视觉新骨干
人工智能·深度学习·计算机视觉·transformer·注意力机制
老鱼说AI9 小时前
Vision Transformer(ViT)模型实例化PyTorch逐行实现
pytorch·深度学习·transformer
老鱼说AI10 小时前
Vision Transformer (ViT) 详解:当Transformer“看见”世界,计算机视觉的范式革命
人工智能·深度学习·transformer
Phoenixtree_DongZhao11 小时前
迈向透明人工智能: 可解释性大语言模型研究综述
人工智能·语言模型·自然语言处理
战争热诚12 小时前
基于transformer的目标检测——匈牙利匹配算法
算法·目标检测·transformer
计算机科研圈12 小时前
ICCV 2025 | EPD-Solver:西湖大学发布并行加速扩散采样算法
人工智能·算法·语言模型·自然语言处理·数据挖掘·iccv
视觉&物联智能16 小时前
【杂谈】-人工智能新范式:神经符号大语言模型的崛起
人工智能·语言模型·自然语言处理
蹦蹦跳跳真可爱58920 小时前
Python----大模型(大模型微调--BitFit、Prompt Tuning、P-tuning、Prefix-tuning、LORA)
人工智能·python·深度学习·自然语言处理·transformer
小杨勇敢飞20 小时前
大语言模型的解码策略:贪婪解码与波束搜索
人工智能·语言模型·自然语言处理
盼小辉丶21 小时前
PyTorch生成式人工智能(24)——使用PyTorch构建Transformer模型
pytorch·深度学习·transformer