ollama 本都部署模型

ollama 本都部署模型

ollama 是什么

ollama 是一个开源的运行大模型的框架,可以让我们在不依赖GPU的情况下运行模型

ollama官网

运行ollama

有两种方式,第一个官网下载安装包 linux/macos/windows 都有

第二种就是通过docker 方式运行 ,官方镜像

ollama官方docker 镜像

拉取命令 docker pull ollama/ollama

我们直接下载安装包运行即可

下载运行模型

在官网搜索你想运行的模型,这里使用deepseek

我电脑内存32G,运行一个 7b的,跑起来还可以,很流畅

找到模型,点进去详细页,复制这条命令即可运行

运行效果如下:直接控制台输入

接入ui界面

这里选择 open-web-ui ,直接使用docker 运行 ,

open-webui docker镜像

复制代码
docker pull openwebui/open-webui

docker run open-webui

运行起来之后访问 localhost:3000 端口

选择模型就可以开始聊天了

相关推荐
许雪里9 小时前
XXL-AI v1.5.0 发布|AI应用开发平台
agent·ai编程
天诰11 小时前
SA-K-11 检索会消失吗与四个未解问题
java·服务器·人工智能·python·机器学习·ai编程
ikoala13 小时前
让 Codex 自己查账:一个省 token 的小技巧
前端·后端·ai编程
ikoala14 小时前
AI 写页面像说明书,修 Bug 像贴膏药?把这两句话写进 AGENTS.md
前端·javascript·ai编程
mCell18 小时前
AI 时代,我为什么开始追求 100% 的测试覆盖率?
llm·ai编程·测试
ZzT18 小时前
AI-SDLC 实践 04|方案设计:把 Spec 转化为技术方案,并拆解为多 SubAgent 可执行的任务
ai编程·claude
FPGA小迷弟1 天前
FPGA 与千兆以太网校验和:从原理到 Verilog 实现
嵌入式硬件·fpga开发·无人机·ai编程·fpga
小虎AI生活1 天前
WorkBuddy 自动化工作流实测:从分镜脚本到 MP4 成片的 18 步复盘
aigc·ai编程
kennywu4112 天前
AI 说“4 个测试全部通过”,其实它一个都没跑
ai编程
金銀銅鐵2 天前
JDK 21 中 List.of 的实现细节:从 List12 到 ListN
java·后端·ai编程