windows下docker运行ollama

最终效果

前言

我们之前说过,在dify里配置ollama时,由于dify是在docker里,而ollama是在宿主机上,所以二者的网络需要一些技巧来打通。

其中有一个办法,就是把ollama的IP暴露出来。

这其实看似不安全,实则还挺危险的。

当时,就一直想着,如果能用docker部署ollama就好了。


前序步骤

安装wsl

安装docker desktop

设置一个mirror地址,用于下载image。

这些都有写过,麻烦各位翻一下。

每次开机,都需要把docker desktop打开。

不然所有docker命令都用不了。

所以这也算是一个前置的步骤吧。

使用步骤

执行指令

代码如下(示例):

shell 复制代码
docker run --gpus=all -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

出来这个看不懂的东西后,就说明成功了。

代码如下(示例):

c 复制代码
data = pd.read_csv(
    'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

回到docker desktop的界面,就可以看到:

打开terminal:

执行:

复制代码
ollama run qwen2.5

相关推荐
星恒讯工业路由器8 小时前
配网自动化多网融合应用解决方案
运维·自动化
智慧物业老杨8 小时前
智慧物业收费系统的数智化落地实践:从人工硬扛到自动化闭环
运维·自动化
techdashen9 小时前
Cloudflare 为何抛弃 NGINX,用 Rust 自研了一个代理
运维·nginx·rust
南城猿9 小时前
保姆级 Ubuntu 部署 禅道
linux·运维·ubuntu
珠海西格电力9 小时前
零碳园区产业园管理系统的全场景源网荷储氢协同调度功能是如何实现的
大数据·运维·人工智能·物联网·能源
木雷坞10 小时前
K8s GPU 推理服务 ImagePullBackOff 排查与预热
云原生·容器·kubernetes·gpu算力
wj30558537810 小时前
CC-Switch 在 WSL Ubuntu 中安装记录
linux·运维·ubuntu
人生匆匆10 小时前
通过nginx解决跨域问题
运维·nginx
原来是猿10 小时前
【Socket编程预备知识】
linux·运维·服务器·网络
吴爃11 小时前
Spring Boot 项目在 K8S 中的打包、部署与运维发布实践
运维·spring boot·kubernetes