ollama 本都部署模型

ollama 本都部署模型

ollama 是什么

ollama 是一个开源的运行大模型的框架,可以让我们在不依赖GPU的情况下运行模型

ollama官网

运行ollama

有两种方式,第一个官网下载安装包 linux/macos/windows 都有

第二种就是通过docker 方式运行 ,官方镜像

ollama官方docker 镜像

拉取命令 docker pull ollama/ollama

我们直接下载安装包运行即可

下载运行模型

在官网搜索你想运行的模型,这里使用deepseek

我电脑内存32G,运行一个 7b的,跑起来还可以,很流畅

找到模型,点进去详细页,复制这条命令即可运行

运行效果如下:直接控制台输入

接入ui界面

这里选择 open-web-ui ,直接使用docker 运行 ,

open-webui docker镜像

复制代码
docker pull openwebui/open-webui

docker run open-webui

运行起来之后访问 localhost:3000 端口

选择模型就可以开始聊天了

相关推荐
杨杨杨大侠3 小时前
从零训练一个 321 万参数的小模型:用 MLX 看懂 Transformer 的训练过程
aigc·openai·ai编程
RainyJiang5 小时前
AI时代下,Android的边界正在消失
android·openai·ai编程
桦说编程5 小时前
【AtomicAgent系列1】变异测试——过去做不起,现在 agent 做得起
后端·ai编程·vibecoding
超级架构师6 小时前
先在“可能世界”中测试自治系统:PEIRAVELA 的实验控制平面
人工智能·架构·ai编程
码农胖大海6 小时前
我的第一个产品,只有一段提示词
前端·ai编程·产品
数字补给站7 小时前
Windows 10 + Hyper-V + Terraform + cloud-init:批量产出 3 台 Ubuntu 的实践笔记
运维·ai编程
学者猫头鹰7 小时前
Spring AI 教程(下篇)
ai编程
Flynt7 小时前
我给 Claude Code 装了 Ponytail,代码量直接砍了一半
agent·ai编程·claude