windows下docker运行ollama

最终效果

前言

我们之前说过,在dify里配置ollama时,由于dify是在docker里,而ollama是在宿主机上,所以二者的网络需要一些技巧来打通。

其中有一个办法,就是把ollama的IP暴露出来。

这其实看似不安全,实则还挺危险的。

当时,就一直想着,如果能用docker部署ollama就好了。


前序步骤

安装wsl

安装docker desktop

设置一个mirror地址,用于下载image。

这些都有写过,麻烦各位翻一下。

每次开机,都需要把docker desktop打开。

不然所有docker命令都用不了。

所以这也算是一个前置的步骤吧。

使用步骤

执行指令

代码如下(示例):

shell 复制代码
docker run --gpus=all -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

出来这个看不懂的东西后,就说明成功了。

代码如下(示例):

c 复制代码
data = pd.read_csv(
    'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

回到docker desktop的界面,就可以看到:

打开terminal:

执行:

复制代码
ollama run qwen2.5

相关推荐
shawnyz1 小时前
HAPROXY负载均衡
运维·负载均衡
林开落L4 小时前
解决云服务器内存不足:2 分钟搞定 Ubuntu swap 交换区配置(新手友好版)
运维·服务器·ubuntu·swap交换区
初恋叫萱萱4 小时前
深入解析 Rust + LLM 开发:手把手教你写一个 AI 运维助手
运维·人工智能·rust
加农炮手Jinx4 小时前
Flutter for OpenHarmony: Flutter 三方库 icon_font_generator 自动化将 SVG 图标集转化为字体文件(鸿蒙矢量资源全自动管理)
运维·flutter·华为·自动化·harmonyos·devops
声声长乐6 小时前
Jenkins + Docker 完整部署指南
ubuntu·docker·jenkins
雨大王5128 小时前
汽车生产智能计划助手如何提升排产效率并降低库存积压?
大数据·运维
以太浮标8 小时前
华为eNSP综合实验之- 3a认证配置案例及解析(AAA认证)
运维·tcp/ip·网络安全·华为·信息与通信
No8g攻城狮8 小时前
【Linux】Linux nano 编辑器全攻略:从入门到精通
linux·运维·编辑器·nano
2301_805962939 小时前
arduino IDE如何设置代理
运维·服务器
shughui10 小时前
Docker Desktop下载、安装、配置、使用
运维·docker·容器·自动化