【全网首发】解决coze工作流批量上传excel数据文档数据重复的问题

注意:目前方法将基于前一章批量数据库导入的修改!!!!请先阅读上篇文章的操作。抄袭注明来源

背景

上一节说的方法可以批量导入文件到数据库,但是无法解决已经上传的条目更新问题。简单来说,不会覆盖原始数据,只会在数据库后面增加新的条目,并没有达到更新数据的目的,只能说上一篇文章解决了运营阶段智能体能够和数据后台的连接,是一把钥匙。那么本文解决的就是更新的问题【在原始条目上】

思想来源

你需要注意的是,经过我不断测试下来,字节的这个SQL自定义采用的是Oracle的方式,普通的REPLACE等操作指令不认,会报SQL语句语法错误的问题。其次,如果你采用MERGE等操作手段,你会发现SQL语句过于繁琐,对大批量数据写入数据库不友好,插件难以制作。因此,本人不得已采用了一种方式,那就是先删除原始节点再上传,同时,我更新了插件代码,同步生成对应的DEL语句指令

插件2.0代码

python 复制代码
from runtime import Args
#注意下面的 read_excels根据自己设置的插件名称会有调整。
from typings.test.test import Input, Output
import requests
import io
import pandas as pd
import re
def remove_apostrophe(input_str: str) -> str:
    """移除字符串中的英文单引号"""
    return input_str.replace("'", "'")

def handler(args: Args[Input])->Output:
    # 文档地址 url
    url = args.input.file_link
    # 数据库表明
    database_table = args.input.database_table
    # 数据库表字段名(注意:文档的表头名字必须与数据库表字段名相同)
    database_table_list = args.input.database_table_list
    response = requests.get(url)
    values_list = []
    del_list = []
    s = ""
    m = ""
    if response.status_code == 200:
        df = pd.read_excel(io.BytesIO(response.content))
        for index, row in df.iloc[0:].iterrows():
            for i in database_table_list:
                res = row[i]
                if i == "product_name":
                    res = remove_apostrophe(row[i])
                if i == "erp_code":
                    del_list.append(str(res))  # 直接添加完整的ERP代码
                s = f"{s}'{res}',"
            values_list.append(f"({s[:-1]})")
            s = ""
        for i in database_table_list:
            m = f"{m}{i},"
        del_content = f"DELETE FROM {database_table} WHERE erp_code IN ({', '.join(f"'{x}'" for x in del_list)});"
        content = f"INSERT INTO {database_table} ({m[:-1]}) VALUES {', '.join(values_list)};"
    else:
        content = f"无法从网址获取文件,状态码:{response.status_code}"
        del_content = f"无法从网址获取文件,状态码:{response.status_code}"
    return {"insert_output1":content, "del_output2":del_content}

工作流2.0修改部分展示(完整请私信我)

效果展示

都维持在20条,没有机械式的简单增加

相关推荐
l12586539 分钟前
# RAG噪声知识库治理:一致性与可信度的四层防线设计
数据库·人工智能·python·自然语言处理·langchain
聚美智数2 小时前
图片水印-图片剪裁-图片缩放API接口介绍
java·服务器·数据库
JavaPub-rodert2 小时前
Go 后台如何同时兼容 MySQL、PostgreSQL、SQLite 和 SQL Server?从 ShiyuAdmin 看 GORM 多数据库适配
数据库·mysql·postgresql·golang·javapub·王仕宇
瀚高PG实验室2 小时前
SQL优化案例:存储过程、复杂SQL拆成简单SQL提升整体性能
数据库·sql·postgresql·瀚高数据库
Wang's Blog3 小时前
PostgreSQL笔记36:执行计划基础解读与优化器成本模型
数据库·笔记·postgresql
Wang's Blog3 小时前
PostgreSQL笔记35:索引常见问题诊断与解决方案全景解析
数据库·笔记·postgresql
LayZhangStrive3 小时前
后端通识 - 后端开发职位接触的开发流程
数据库·prd·技术方案·库表设计·后端开发流程
爱吃火鸡面呀3 小时前
MySQL 查询与函数详解:从基础条件筛选到高级字符处理
数据库·mysql
奥莱维4 小时前
KNX酒店方案_KNX专用线与高端酒店技术逻辑
java·服务器·前端·数据库
牛大兵4 小时前
机顶盒获取局域网已经使用IP,开放的端口号,扫描摄像头,NAS,共享主机等开机自启局域网全量扫描工具
数据库·网络协议·tcp/ip