windows下docker运行ollama

最终效果

前言

我们之前说过,在dify里配置ollama时,由于dify是在docker里,而ollama是在宿主机上,所以二者的网络需要一些技巧来打通。

其中有一个办法,就是把ollama的IP暴露出来。

这其实看似不安全,实则还挺危险的。

当时,就一直想着,如果能用docker部署ollama就好了。


前序步骤

安装wsl

安装docker desktop

设置一个mirror地址,用于下载image。

这些都有写过,麻烦各位翻一下。

每次开机,都需要把docker desktop打开。

不然所有docker命令都用不了。

所以这也算是一个前置的步骤吧。

使用步骤

执行指令

代码如下(示例):

shell 复制代码
docker run --gpus=all -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

出来这个看不懂的东西后,就说明成功了。

代码如下(示例):

c 复制代码
data = pd.read_csv(
    'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

回到docker desktop的界面,就可以看到:

打开terminal:

执行:

复制代码
ollama run qwen2.5

相关推荐
星恒讯工业路由器31 分钟前
配网自动化多网融合应用解决方案
运维·自动化
智慧物业老杨36 分钟前
智慧物业收费系统的数智化落地实践:从人工硬扛到自动化闭环
运维·自动化
techdashen1 小时前
Cloudflare 为何抛弃 NGINX,用 Rust 自研了一个代理
运维·nginx·rust
南城猿1 小时前
保姆级 Ubuntu 部署 禅道
linux·运维·ubuntu
珠海西格电力2 小时前
零碳园区产业园管理系统的全场景源网荷储氢协同调度功能是如何实现的
大数据·运维·人工智能·物联网·能源
木雷坞2 小时前
K8s GPU 推理服务 ImagePullBackOff 排查与预热
云原生·容器·kubernetes·gpu算力
wj3055853782 小时前
CC-Switch 在 WSL Ubuntu 中安装记录
linux·运维·ubuntu
人生匆匆3 小时前
通过nginx解决跨域问题
运维·nginx
原来是猿3 小时前
【Socket编程预备知识】
linux·运维·服务器·网络
吴爃3 小时前
Spring Boot 项目在 K8S 中的打包、部署与运维发布实践
运维·spring boot·kubernetes