如何拥有自己的专属GPT-本地部署目前最强大模型llama3

你是不是苦于没法使用ChatGPT?或者访问了ChatGPT却没法使用GPT4?现在一切问题都可以解决了!

4月18日,Meta发布两款开源Llama 3 8B与Llama 3 70B模型,供外部开发者免费使用。这个消息轰动了全球开发者。按照Meta的说法,Llama 3 8B和Llama 3 70B是目前同体量下,性能最好的开源模型。

所以Llama3成了ChatGPT最好的平替。

本文教你一步一步在本地部署目前最先进的开源大模型llama3,让你再也不用忍受网络问题,且可以无限制使用大模型。非常简单,包教包会。

先讲下作者的开发环境:内存 32G,显存22G,Windows

1. 安装docker

什么是docker?

简单来讲,可以将docker理解为轻量版的虚拟机。也许你曾经遇到过,使用某一个软件的时候环境不通、还要安装各种依赖等等问题,经常会导致卡在某一步无法进行。所以容器化很好的解决了这个问题,会将你需要的环境、前置的依赖等等打包成镜像,你可以在容器中直接运行。

首先访问docker官网,下载docker桌面版。

下载完成后双击打开直接安装。

上图是我已经安装成功了。

2. 安装ollama

随着LLM发展越来越快,一些优秀的开源大语言基座模型得到了广泛应用。比如meta发布的llama3,google发布的gemma等等。每次大模型的发布都号称史上最强,但到底怎么样你自己体验了才能知道。

Ollama就是做这个事情的,让你能快速在本地也能跑起来各种大模型。

Ollama可以直接部署在本地,也可以部署在docker上,简单起见,我们还是部署在docker上比较好。

首先打开Windows命令行,可以使用win+r,然后输入cmd即可打开。

然后输入命令

复制代码
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

如果没有ollama镜像,会自动从网络获取ollama镜像。

我这个是已经安装过了。

tips:最好使用命令行运行,主要是为了打开11434端口,为了后面可视化做准备。

3. 安装llama3模型

在docker desktop找到ollama的容器,点击进入

点击exec进入容器命令行。

运行命令

复制代码
ollama run llama3

ollama会自动下载llama3模型并运行。

等待下载完成后,显示success便是运行成功,这时候就可以向它提问了。

以上是我向它提的问题,可以看到已经有了回答。

4. 安装Open WebUI

虽然大模型已经安装成功,但是总不能一直用命令行来提问吧,非常不友好。如何才能像ChatGPT那样呢?

不用担心,开源社区总会有惊喜,Open WebUI就是做这个的。

打开命令行,执行下面的命令。

复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

没有镜像会自动下载好Open WebUI的镜像,然后执行。

这时候你打开docker desktop,可以看到open-webui已经在运行中了。

打开浏览器,输入localhost:3000,看到有登录界面,就算安装成功了。

可以注册一个账号再登录。

这时候还没有完,需要在上面设置模型后才能使用。

选择刚才创建好的llama3,这时候就可以提问啦。

看到这里就大功告成了,你已经拥有了自己的ChatGPT,please enjoy your llm。

结束

后面我会持续分享AI相关的技术,欢迎大家关注。

如果在安装过程中出现各种问题,也欢迎提问,笔者非常乐于解答。

相关推荐
AI架构全栈开发实战笔记29 分钟前
Eureka 在大数据环境中的性能优化技巧
大数据·ai·eureka·性能优化
大厂资深架构师29 分钟前
Spring Cloud Eureka在后端系统中的服务剔除策略
spring·spring cloud·ai·eureka
AI架构全栈开发实战笔记30 分钟前
Eureka 对大数据领域服务依赖关系的梳理
大数据·ai·云原生·eureka
阿杰学AI1 小时前
AI核心知识91——大语言模型之 Transformer 架构(简洁且通俗易懂版)
人工智能·深度学习·ai·语言模型·自然语言处理·aigc·transformer
shengnan_wsn4 小时前
【一】【ai基础】【大模型和智能体初识】
ai
nimadan124 小时前
**AI仿真人剧制作工具2025推荐,解锁沉浸式内容创作新范
ai
阿沐的硅基世界6 小时前
OpenClaw记忆层详解
ai
___波子 Pro Max.7 小时前
AI与AGI的区别及未来展望
ai·agi
kali-Myon7 小时前
2025春秋杯网络安全联赛冬季赛-day2
python·安全·web安全·ai·php·pwn·ctf
Olamyh7 小时前
【 超越 ReAct:手搓 Plan-and-Execute (Planner) Agent】
python·ai