如何拥有自己的专属GPT-本地部署目前最强大模型llama3

你是不是苦于没法使用ChatGPT?或者访问了ChatGPT却没法使用GPT4?现在一切问题都可以解决了!

4月18日,Meta发布两款开源Llama 3 8B与Llama 3 70B模型,供外部开发者免费使用。这个消息轰动了全球开发者。按照Meta的说法,Llama 3 8B和Llama 3 70B是目前同体量下,性能最好的开源模型。

所以Llama3成了ChatGPT最好的平替。

本文教你一步一步在本地部署目前最先进的开源大模型llama3,让你再也不用忍受网络问题,且可以无限制使用大模型。非常简单,包教包会。

先讲下作者的开发环境:内存 32G,显存22G,Windows

1. 安装docker

什么是docker?

简单来讲,可以将docker理解为轻量版的虚拟机。也许你曾经遇到过,使用某一个软件的时候环境不通、还要安装各种依赖等等问题,经常会导致卡在某一步无法进行。所以容器化很好的解决了这个问题,会将你需要的环境、前置的依赖等等打包成镜像,你可以在容器中直接运行。

首先访问docker官网,下载docker桌面版。

下载完成后双击打开直接安装。

上图是我已经安装成功了。

2. 安装ollama

随着LLM发展越来越快,一些优秀的开源大语言基座模型得到了广泛应用。比如meta发布的llama3,google发布的gemma等等。每次大模型的发布都号称史上最强,但到底怎么样你自己体验了才能知道。

Ollama就是做这个事情的,让你能快速在本地也能跑起来各种大模型。

Ollama可以直接部署在本地,也可以部署在docker上,简单起见,我们还是部署在docker上比较好。

首先打开Windows命令行,可以使用win+r,然后输入cmd即可打开。

然后输入命令

复制代码
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

如果没有ollama镜像,会自动从网络获取ollama镜像。

我这个是已经安装过了。

tips:最好使用命令行运行,主要是为了打开11434端口,为了后面可视化做准备。

3. 安装llama3模型

在docker desktop找到ollama的容器,点击进入

点击exec进入容器命令行。

运行命令

复制代码
ollama run llama3

ollama会自动下载llama3模型并运行。

等待下载完成后,显示success便是运行成功,这时候就可以向它提问了。

以上是我向它提的问题,可以看到已经有了回答。

4. 安装Open WebUI

虽然大模型已经安装成功,但是总不能一直用命令行来提问吧,非常不友好。如何才能像ChatGPT那样呢?

不用担心,开源社区总会有惊喜,Open WebUI就是做这个的。

打开命令行,执行下面的命令。

复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

没有镜像会自动下载好Open WebUI的镜像,然后执行。

这时候你打开docker desktop,可以看到open-webui已经在运行中了。

打开浏览器,输入localhost:3000,看到有登录界面,就算安装成功了。

可以注册一个账号再登录。

这时候还没有完,需要在上面设置模型后才能使用。

选择刚才创建好的llama3,这时候就可以提问啦。

看到这里就大功告成了,你已经拥有了自己的ChatGPT,please enjoy your llm。

结束

后面我会持续分享AI相关的技术,欢迎大家关注。

如果在安装过程中出现各种问题,也欢迎提问,笔者非常乐于解答。

相关推荐
ajassi20004 小时前
AI语音智能体开发日记(十二)GX8006 固件定制指南——从双唤醒词到 UART 音频传输
人工智能·ai·ai编程
王莹月4 小时前
PHP 怎么接 AI 生图 API?甜甜圈API 的 Guzzle 写法(含 Laravel 队列)
ai·电商
badhope3384 小时前
当所有AI都在抄同一份作业:前端模板的趋同、困局与破局
前端·ai·ai编程·前端开发·tailwind·ui设计
产品设计大观8 小时前
构建低消耗的产研AI工作流:Workbuddy生态 + 墨刀AI 落地实践
人工智能·ai·产品经理·墨刀·腾讯·产品设计·workbuddy
(轻舟已过万重山)10 小时前
第27章 框架实操:用 LangChain/LlamaIndex 搭建完整 RAG 系统
人工智能·ai·langchain
Ai思想家10 小时前
PRD:企业 AI 网关(参考实现:魔芋企业 AI 网关 MAI Gateway)
人工智能·安全·ai
Smoothcloud润云11 小时前
GPU租赁数据安全怎么做?
人工智能·算法·ai·aigc·gpu算力·gpu
晴天1611 小时前
AtomCode深度解析-Day09
人工智能·ai
weixin_4316004411 小时前
做 Agent 会用到的 Node API(3):异步与流
前端·学习·ai·agent·ai编程
小七-七牛开发者12 小时前
Agent 小知识|长任务不重来:Agent 状态保存的工程设计
ai·大模型·agent·claude·token·工作流·skill·claudecode·ai coding