macOS + Ollama + Enchanted,本地部署最新 Llama3

4月19日,Meta开源了大模型Llama3,并在多项指标上超越了现有最先进的大模型(详见:关于Llama 3 AI大模型的几点总结 )。Ollama社区也同步新增 Llama3 的支持。接下来,我们将在MacBook Pro上部署Llama3,让大家在本地体验最强开源大模型。

硬件设置,MacBook Pro (2019款),Intel CPU,8 Core,16GB内存。

具体步骤:

  • 安装Ollama
  • 下载Llama3
  • 安装Enchanted

安装Ollama

Ollama大家都比较熟悉了,安装非常方便,有macOS独立安装包。下载,解压,安装。

下载链接:https://ollama.com/download

安装完成后,会提示命令行:ollama run llama2,可以拷贝一下。但是注意要下载llama3,而不是llama2.

下载Llama3

进入 Terminal,执行(把llama2改为llama3):ollama run llama3。下载需要等待一段时间,具体取决于网络速度。

Terminal 复制代码
$ ollama run llama3
pulling manifest 
pulling 00e1317cbf74... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏ 4.7 GB                         
pulling 4fa551d4f938... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏  12 KB                         
pulling 8ab4849b038c... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏  254 B                         
pulling c0aac7c7f00d... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏  128 B                         
pulling db46ef36ef0b... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏  483 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 
>>>

下载完成后,直接进入llama3状态,提示本文:Send a message (/? for help)。可以自行提问并获得回复。

Terminal 复制代码
>>> who are you
I am LLaMA, an AI assistant developed by Meta AI that can understand and respond to human input in a conversational manner. I'm not a human, but a computer program designed to simulate conversation and answer questions to the best of my ability based on my training data. 

I was trained using a massive dataset of text from various sources, including books, articles, and websites. This training enables me to understand and respond to natural language input, such as your question about who I am!

In simple terms, I'm like a very smart chatbot that can have a conversation with you!

>>> 

macOS 状态栏上有图标提示llama3在后台运行。

安装Enchanted

Enchanted 是开源并兼容 Ollama 的应用程序,允许您在iOS生态系统(macOS、iOS、Watch、Vision Pro)中的所有设备上获得未经过滤、安全、私密和多模态的体验。

下载链接:https://github.com/AugustDev/enchanted

页面点击:Download on the App Store 图标,进入macOS的 App Store 下载安装。

安装完成后,启动界面非常简洁大气:

之前llama3已经在后台运行了,所以可以直接在Enchanted里提问并获得回答。

讨论

这个解决方案可以让我们在个人笔记本电脑上完美体验llama3,无需科学上网即可轻松使用最强的开源大模型。而且,在其他平台(Windows和Linux)上也应该可以轻松部署,具体的步骤可以参考各应用的官方网站,或者查找其他的介绍文章。

相关推荐
用户5191495848454 小时前
使用Python ConfigParser解析INI配置文件完全指南
人工智能·aigc
小溪彼岸5 小时前
分享一个Claude Code宝藏网站Claude Code Templates
aigc·claude
YFCodeDream5 小时前
MLLM技术报告 核心创新一览
python·gpt·aigc
蛋先生DX8 小时前
RAG 切片利器 LumberChunker 是如何智能地把文档切割成 LLM 爱吃的块
llm·aigc·ai编程
土丁爱吃大米饭8 小时前
AIGC工具助力2D游戏美术全流程
aigc·小游戏·游戏开发·ai助力
安思派Anspire9 小时前
为何你的RAG系统无法处理复杂问题(二)
aigc·openai·agent
Mintopia11 小时前
🧠 可解释性AIGC:Web场景下模型决策透明化的技术路径
前端·javascript·aigc
用户51914958484511 小时前
Flutter应用设置插件 - 轻松打开iOS和Android系统设置
人工智能·aigc
墨风如雪1 天前
DeepSeek OCR:用'眼睛'阅读长文本,AI记忆新纪元?
aigc
算家计算1 天前
SAIL-VL2本地部署教程:2B/8B参数媲美大规模模型,为轻量级设备量身打造的多模态大脑
人工智能·开源·aigc