windows下docker运行ollama

最终效果

前言

我们之前说过,在dify里配置ollama时,由于dify是在docker里,而ollama是在宿主机上,所以二者的网络需要一些技巧来打通。

其中有一个办法,就是把ollama的IP暴露出来。

这其实看似不安全,实则还挺危险的。

当时,就一直想着,如果能用docker部署ollama就好了。


前序步骤

安装wsl

安装docker desktop

设置一个mirror地址,用于下载image。

这些都有写过,麻烦各位翻一下。

每次开机,都需要把docker desktop打开。

不然所有docker命令都用不了。

所以这也算是一个前置的步骤吧。

使用步骤

执行指令

代码如下(示例):

shell 复制代码
docker run --gpus=all -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

出来这个看不懂的东西后,就说明成功了。

代码如下(示例):

c 复制代码
data = pd.read_csv(
    'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

回到docker desktop的界面,就可以看到:

打开terminal:

执行:

复制代码
ollama run qwen2.5

相关推荐
dyj0952 小时前
Dify - (一)、本地部署Dify+聊天助手/Agent
人工智能·docker·容器
wanhengidc2 小时前
云手机 高振畅玩不踩坑
运维·服务器·安全·web安全·智能手机
有谁看见我的剑了?2 小时前
linux 添加硬盘后系统识别不到硬盘处理
linux·运维·服务器
JoyCong19983 小时前
ToDesk远程屏幕墙技术白皮书:如何重塑全局运维视界
运维·电脑·远程工作
偶尔上线经常挺尸3 小时前
《100个“反常识”经验15:Nginx 502排查:从应用到内核》
运维·nginx·性能调优·反向代理·502错误·http排错
思茂信息4 小时前
CST软件如何进行参数化扫描?
运维·开发语言·javascript·windows·ecmascript·软件工程·软件需求
计算机安禾4 小时前
【Linux从入门到精通】第31篇:防火墙漫谈——iptables与firewalld防护指南
linux·运维·php
下一页盛夏花开4 小时前
ubuntu 20中安装QT以后出现红色空心断点
linux·运维·ubuntu
Nice_Fold5 小时前
Kubernetes DaemonSet、StatefulSet与Service(自用笔记)
笔记·容器·kubernetes