用Ollama 和 Open WebUI本地部署Llama 3.1 8B

说明: 本人运行环境windows11 N卡6G显存。部署Llama3.1 8B

简介

  Ollama是一个开源的大型语言模型服务工具,它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。Ollama 的主要功能是在Docker容器内部署和管理大型语言模型(LLM),使得用户能够快速地在本地运行这些模型。它简化了部署过程,通过简单的安装指令,用户可以执行一条命令就在本地运行开源大型语言模型,例如Llama 3.1。本地部署,离线运行,数据无需上传云端,担心隐私泄露。

1、下载Ollama安装

  官网地址:https://ollama.com/, 依据自己操作系统类型下载相应版本。

2、 下载Docker安装

  Open WebUI 在Docker环境中运行,下载Docker进行安装

  官网地址:https://www.docker.com/

3、在Docker中安装open-webui

  确认Docker已经运行。

  在Open WebUI 官网https://docs.openwebui.com/

  复制以下命令运行

bash 复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

  执行完以上的命令,会在docker中出现open-webui项目。通过http://localhost:3000/打开Open WebUI界面。

4、浏览器中打开Open WebUI

  第一次登录,要求你注册,注册信息保存在本地。第一个注册的用户默认为系统管理员。注册完成后来到一个类似ChatGPT的界面。

5、设置拉取模型。

  在第③步中,可以访问https://ollama.com/library,在这里有很多常用的模型。


我这里选取的是llama3.1

复制命令在cmd下执行,拉取model,大约4.7G。稍等一会会。

或者复制大语言模型名称在Open WebUI中直接下载

  同样的方法,可以安装其它模型了。

6、选择模型,让我们开始吧!

  选择模型后,就可以对话了。

工作空间的简单应用

在https://openwebui.com/可以选择相应预设模型,在页面中可以知道它采那个模型,还有相应的 System Prompt。

  综上所述,Ollama作为一个强大的开源大模型管理工具,它不仅能够助你高效地管理本地开源大模型,更能显著提升工作效率。通过其丰富的功能和灵活的配置选项,你可以轻松地组织、训练和调优各种模型,满足不同的应用需求。而Open WebUI的引入,提供了一个直观、便捷的Web界面,使你无需深入技术细节也能轻松访问和管理Ollama的接口。

相关推荐
镰刀韭菜2 天前
2026 年 10 月 Mac 本地大模型:24GB / 64GB / 128GB 怎么选
mac·qwen·apple silicon·ollama·本地llm
Jasonakeke2 天前
Ollama 装好却拉不动模型?八成是这两种病,一种缺网一种缺显存
ai编程·ollama
顾鸟4 天前
ComfyUI 使用 LLaMA-Factory 微调的 Qwen3.5:从模型导出到工作流出图--晨羽算力平台
llama·comfyui·工作流·qwen3.5
goehou5 天前
两台 Mac 拼成推理池,加机器不加内存
mac·集群·ollama·本地推理
武雄(小星Ai)10 天前
Ollama报llama-server binary not found排坑实录:服务活着引擎没了
人工智能·windows·大模型·ollama·排坑
goehou10 天前
Ollama 的流式接口不是 SSE,客户端要改三处
sse·ollama·流式输出·客户端开发
一条大祥脚12 天前
llama.cpp 深度解析:从 GGUF 到本地推理的事实标准
llama
n1121216 天前
Ollama 接 Open WebUI 中文界面:我踩的 4 个坑
云原生·eureka·ollama·本地大模型·open webui·私有部署·中文界面
一枕槐安48718 天前
开源大模型 Llama3 本地部署全过程,Ollama 上手
开源·本地部署·大模型推理·ollama·llama3·modelfile
~远在太平洋~19 天前
大模型评测框架 OpenCompass 本地部署保姆级教程:从安装到跑通 C-Eval 基准(含依赖冲突修复与判分避坑)
llama