dify新版本1.1.3的一些问题

本人使用window版本上构建dify,采用docker方法启动

1、拉取镜像问题

windows上更改拉取镜像仓库地址

优化加速参考:青春不留白/Docker-hub

如果还是拉取比较慢的话,建议科学上网解决。

2、启动问题

发生报错Dify:failed to init dify plugin db问题,初步判断:启动服务的时候,db的服务还没有启动完成导致初始化不成功,以后服务没办法正常进行

分析:在dify环境中,各模块的相互依赖关系如下:

api:db,redis

woker:db,redis

plugin_daemon:db

nginx:api,web

csdn给出一个解决方案使用 wait-for-it.sh的方法,参考见:解决Dify:failed to init dify plugin db问题

进一步分析,其实初始化只在第一次和升级的时候发生,第一次启动正常后就不会影响,直接按照启动保证初始化即可:docker compose up -d 服务名,启动的时候给db启动的时间长一点即可,验证没有问题。

3 ollama模型接入注意

环境变量设置:

OLLAMA_HOST设置为0.0.0.0,如果设置,dify使用localhost连接,因为在docker是监听不到宿主机的地址

OLLAMA_MODELS:如果更改了MODELS的地址,需要更改到对应的目录

OLLAMA_GPU_LAYER:如果要使用GPU,设置对应DEV,一般有一块GPU设置为0即可

OLLAMA_MAX_LOADED_MODELS:如果要加载多个模型的话,需要设置并行的模型数量

说明:ollama可以运行非生成式模型以供dify调用

dify连接信息:

默认的链接地址: http://host.docker.internal:11434 ,官方有文档说明

相关推荐
杰瑞学AI1 小时前
Devops之GitOps:什么是Gitops,以及它有什么优势
运维·git·云原生·kubernetes·devops·argocd
AKAMAI2 小时前
GitOps实战:使用Flux新建Kubernetes集群
后端·云原生·云计算
KubeSphere 云原生3 小时前
云原生周刊:K8s 中的 GPU 共享
云原生·容器·kubernetes
探索云原生3 小时前
大模型微调实战:通过 LoRA 微调修改模型自我认知
ai·云原生·llm·sft
晓风残月淡4 小时前
Kubernetes详细教程(三):部署应用、了解常用命令及编写资源清单
云原生·容器·kubernetes
LeicyII5 小时前
面试题:Eureka和Nocas的区别
java·云原生·eureka
孔令飞6 小时前
LLM 中的函数调用和工具是什么?
人工智能·云原生·go
掘金-我是哪吒9 小时前
分布式微服务系统架构第107集:Netty开发,模拟报文生成器代码
分布式·微服务·云原生·架构
CN_HW17 小时前
k8s证书续期
云原生·容器·kubernetes