ollama 本都部署模型

ollama 本都部署模型

ollama 是什么

ollama 是一个开源的运行大模型的框架,可以让我们在不依赖GPU的情况下运行模型

ollama官网

运行ollama

有两种方式,第一个官网下载安装包 linux/macos/windows 都有

第二种就是通过docker 方式运行 ,官方镜像

ollama官方docker 镜像

拉取命令 docker pull ollama/ollama

我们直接下载安装包运行即可

下载运行模型

在官网搜索你想运行的模型,这里使用deepseek

我电脑内存32G,运行一个 7b的,跑起来还可以,很流畅

找到模型,点进去详细页,复制这条命令即可运行

运行效果如下:直接控制台输入

接入ui界面

这里选择 open-web-ui ,直接使用docker 运行 ,

open-webui docker镜像

复制代码
docker pull openwebui/open-webui

docker run open-webui

运行起来之后访问 localhost:3000 端口

选择模型就可以开始聊天了

相关推荐
Ward的AI产品实战2 小时前
多个订阅接多个 Agent 怎么管?我从 CC-Switch 迁移到了开源 AI 网关 Magpie(上篇)
开源·ai编程
qinglongcn3 小时前
为什么 Agent 循环是 for{} 而不是 DAG——架构选择的深层原因
agent·ai编程
ServBay4 小时前
DeepSeek 小更新,许愿式编程成真了?
aigc·ai编程·deepseek
殷紫川5 小时前
Context7 :给 AI 编码代理接上实时文档的 “活水”
aigc·ai编程·mcp
桃西西呀7 小时前
我把网关限流配置成每秒 100 请求,大促一来照样被打挂,还把别人也拖垮了
人工智能·llm·ai编程
程序员天天困7 小时前
DeepSeek-V4.1-Flash-1017 上手实测:3D 直出,效果到底如何
aigc·ai编程·deepseek
OpsEye7 小时前
大模型账单对账难:不同厂商 Token 统计口径差异怎么处理
javascript·ai编程
桃西西呀8 小时前
我把整本接口文档塞进 system prompt,前 3 轮答得准,第 8 轮开始胡说,账单还翻了 4 倍
人工智能·llm·ai编程
小虎AI生活9 小时前
OpenAI 披露 19 起 AI 失控记录,用 AI 提效的第一步为什么不是学提示词
aigc·ai编程