dify升级,PostgreSQL数据库字段更新处理

一、概述

dify运行在容器中,PostgreSQL用的是阿里云,已经运行了很长一段时间。某些表的数据量很大,比如workflowruns表,就有100GB。这个主要是,详细记录了工作流的执行情况,包括执行时间、状态、结果等信息。

版本比较老,0.14.2,需要升级到0.15.3。

升级之前,除了对数据库做备份之外,还需要知道升级过程中,哪些表需要做更新处理。因为某些大表如果要添加字段,索引等操作,非常耗费时间,长达3个小时以上。

为了缩短升级过程,需要对数据库的某些大表,提前进行清理,一些不重要的数据,保留1个月即可。

二、代码分析

访问github官网,https://github.com/langgenius/dify

下载releases对应的版本的代码,0.14.2,0.15.3

得到文件,dify-0.14.2.zip,dify-0.15.3.zip

首先解压文件dify-0.14.2.zip

进入文件夹,dify-0.14.2\api\models

api是基于python flask框架开发的, models里面的python文件,都是数据库表结构文件。

然后解压文件dify-0.15.3.zip,对比2个model文件,发现workflowruns表,确实是有更新的

0.14.2如下:

total_tokens = db.Column(db.Integer, nullable=False, server_default=db.text("0"))

0.15.3 如下:

total_tokens: Mappedint = mapped_column(sa.BigInteger, server_default=sa.text("0"))

直接对比python文件,不够直观,涉及的文件比较多。就算看出来差异了,也不能直接看到具体的表字段是怎么变化的。

接下来,使用sql文件分析,会更加直观一些。

三、sql文件分析

演示环境,我们弄2台服务器,分别运行0.14.2,0.15.3。不需要任何数据库,直接空数据运行都没问题,主要是为了分析表结构。

0.14.2

进入0.14.2版本的容器,找到dify_db_1,进入docker

复制代码
docker exec -it dify_db_1 /bin/bash

导出dify表结构

复制代码
pg_dump -h localhost -p 5432 -U postgres -d dify -s -f dify-0.14.2.sql

将文件拷贝出来

复制代码
docker cp dify_db_1:/dify-0.14.2.sql /tmp/dify-0.14.2.sql

0.15.3

进入0.15.3版本的容器,找到dify_db_1,进入docker

复制代码
docker exec -it dify_db_1 /bin/bash

导出dify表结构

复制代码
pg_dump -h localhost -p 5432 -U postgres -d dify -s -f dify-0.15.3.sql

将文件拷贝出来

复制代码
docker cp dify_db_1:/dify-0.15.3.sql /tmp/dify-0.15.3.sql

对比差异

使用VsCode编辑器对比2个文件,dify-0.14.2.sql,dify-0.15.3.sql

差异如下:

左边是0.14.2,右边是0.15.3

新增表child_chunks

新增表data_source_oauth_bindings

比较关心的表workflowruns,确实发生了变化。

0.14.2版本total_tokens字段是int类型

0.15.3版本total_tokens字段是bigint类型

child_chunks表添加一个主键约束,确保 id 列中的值是唯一的。

dataset_auto_disable_logs表添加一个主键约束,确保 id 列中的值是唯一的。

child_chunks表添加组合索引child_chunk_dataset_id_idx

dataset_auto_disable_logs表添加索引dataset_auto_disable_log_created_atx,dataset_auto_disable_log_dataset_idx,dataset_auto_disable_log_tenant_idx

知道以上这些差异之后,就可以对生产PostgreSQL数据库做进一步处理了

相关推荐
weixin_4316004413 小时前
Agent Workflow 学习向:最小拖拽画布,看得见地编排,再一键跑通
后端·学习·ai·dify
星野云联AIoT技术洞察2 天前
Dify 适合什么 AI 应用项目:Workflow、RAG、Agent 与自研系统的边界
agent·workflow·llmops·dify·rag·ai agent·ai应用开发
XLYcmy9 天前
PDF论文处理器 - 功能总结
数据库·python·pdf·csv·pymupdf·dify·文本分割
鱼日先生9 天前
Dify 企业级实验(04):性能优化实战——长流程从 60 秒到秒回有哪些手段?
人工智能·工作流·dify·ai agent·大模型应用·ai 训练
鱼日先生10 天前
Dify 中级实验(17):调试监控与性能优化——响应慢和 Token 超支如何定位?
工作流·dify·ai agent·大模型应用·ai 训练
鱼日先生10 天前
Dify 高级实验(09):测试用例生成——如何让 AI 自动产出测试用例?
人工智能·测试用例·工作流·dify·ai agent·大模型应用·ai 训练
鱼日先生10 天前
Dify 企业级实验(03):事件驱动流水线——Webhook 与定时触发如何组成异步处理链?
人工智能·工作流·dify·ai agent·大模型应用·ai 训练
XLYcmy11 天前
pdf论文处理:CSV输出模式
数据库·python·pycharm·pdf·论文·csv·dify
鱼日先生11 天前
办公聊天软件接入 Hermes Agent 实录(一):企业微信 WebSocket 长连接 + Dify 知识库问答
企业微信·dify·ai agent·大模型应用·hermes agent
独码侠13 天前
Dify 知识库索引(中):打开源码,拆穿关于“经济索引”的三个谣言
后端·python·django·embedding·知识库·索引·dify