windows下docker运行ollama

最终效果

前言

我们之前说过,在dify里配置ollama时,由于dify是在docker里,而ollama是在宿主机上,所以二者的网络需要一些技巧来打通。

其中有一个办法,就是把ollama的IP暴露出来。

这其实看似不安全,实则还挺危险的。

当时,就一直想着,如果能用docker部署ollama就好了。


前序步骤

安装wsl

安装docker desktop

设置一个mirror地址,用于下载image。

这些都有写过,麻烦各位翻一下。

每次开机,都需要把docker desktop打开。

不然所有docker命令都用不了。

所以这也算是一个前置的步骤吧。

使用步骤

执行指令

代码如下(示例):

shell 复制代码
docker run --gpus=all -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

出来这个看不懂的东西后,就说明成功了。

代码如下(示例):

c 复制代码
data = pd.read_csv(
    'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

回到docker desktop的界面,就可以看到:

打开terminal:

执行:

复制代码
ollama run qwen2.5

相关推荐
JoyCong199816 分钟前
高效远程协作指南:基于ToDesk的六大应用场景详解
运维·服务器·远程工作·远程操作
三不原则1 小时前
实战:混沌工程入门,模拟服务器宕机的故障演练
运维·kubernetes·chaos mesh
cws2004011 小时前
MFA双因素用户使用手册
运维·windows·网络安全·github·邮件·邮箱
weixin_462446232 小时前
使用 Python 脚本自动化管理 Docker 容器:启动、修改密码、删除及系统资源监控
python·docker·自动化·系统监控
溜达的大象2 小时前
Navidrome 打造专属无损音乐库,加载cpolar局域网外访问也能超丝滑
阿里云·docker·云原生·eureka
断水客3 小时前
搭建ARM LINUX 内核 QEMU 仿真调试环境
linux·运维·arm开发·嵌入式
fantasy5_53 小时前
深入理解 Linux 动静态库:制作、原理与加载机制
linux·运维·restful
weixin_307779133 小时前
面向通用矩阵乘法(GEMM)负载的GPU建模方法:原理、实现与多场景应用价值
运维·人工智能·线性代数·矩阵·gpu算力
不爱吃糖的程序媛3 小时前
OpenHarmony仓颉文档:全场景应用开发指南
运维·服务器
终端行者3 小时前
Nginx四层负载均衡配置 Stream模块使用
运维·nginx·负载均衡