Azure databricks spark overwrite 全量更新的时候容易碰到的问题

原因:Azure databricks spark overwrite 全量ADS层表更新的时候容易碰到的问题正在写入结果有服务请求这个表的数据那如何避免呢?

1、 databricks spark overwrite 到的的时候会先TRUNCATE TABLE 然后再写入,就会碰到查询是空的情况,解决办法是用存储过程解决先写入_bak表,再通过存储过程改表名的方式完成替换。以下是核心代码
注意是用 pymysql 执行

CALL DDL的在mysql的存储需要自己写哈

bash 复制代码
from pymysql import *

# 删除的操作
def ddl_mysql(ddlsql,database):
    
    if ddlsql is None or len(ddlsql)==0:
        return '参数deleteQuery异常!'
    
    jdbcUsername = ****
    jdbcPassword = ****
    
    #创建数据库的连接
    conn=connect(host='123456---_mysql.cn',user=jdbcUsername,password=jdbcPassword,database=database,charset='utf8')
    #创建一个游标对象 可以利用这个对象进行数据库的操作
    try:
        cur=conn.cursor()

        cur.execute(ddlsql)
        # 提交事物
        conn.commit()
        #res=cur.fetchall()

        print(ddlsql + ' is success!')
        #print('sucess')
    except Exception as ex:
        print(ex)
    finally:
        cur.close()
        conn.close()

下面是调用

bash 复制代码
# 开始执行用到的
Mydf = df
Mytable = "tab_produce"  # 生产的表名
Myschema = "produce_db"
Mytablebak = Mytable + '_bak'  # 先写入

print(' --执行存入mysql时间:' + str(datetime.datetime.now()) + ' 表为:' + Myschema + '.' + Mytablebak)
save_to_mysql_overwrite(Mydf,Myschema,Mytablebak)
print(' --在mysql上存储完成时间:' + str(datetime.datetime.now()) + ' 表为:' + Myschema + '.' + Mytablebak)
# 去call你mysql的存储过程
ddl_sql = "call xxxxx('{0}','{1}','{2}')".format(Myschema,Mytable,Mytablebak)
print(' --在mysql上执行过程开始时间:' + str(datetime.datetime.now()))
ddl_mysql(ddl_sql,Myschema)
print(' --在mysql上执行过程完成时间:' + str(datetime.datetime.now()) + ' 存入表为:' + Myschema + '.' + Mytable)
print(str(datetime.datetime.now()) + "数据写入xx表:" + Myschema + "." + Mytable +" 完成! ")
相关推荐
Leinwin10 小时前
微软发布新一代存储优化型虚拟机:Azure Laosv4、Lasv4 和 Lsv4 系列
microsoft·azure
亚力山大抵13 小时前
实验六-使用PyMySQL数据存储的Flask登录系统-实验七-集成Flask-SocketIO的实时通信系统
后端·python·flask
Aurora_NeAr16 小时前
Spark SQL架构及高级用法
大数据·后端·spark
国际云,接待1 天前
微软服务器安全问题
运维·服务器·云原生·云计算·azure
何双新2 天前
第 1 课:Flask 简介与环境配置(Markdown 教案)
后端·python·flask
MO2T2 天前
使用 Flask 构建基于 Dify 的企业资金投向与客户分类评估系统
后端·python·语言模型·flask
慢热型网友.2 天前
用 Docker 构建你的第一个 Python Flask 程序
python·docker·flask
源码站~2 天前
基于Flask+Vue的豆瓣音乐分析与推荐系统
vue.js·python·flask·毕业设计·毕设·校园·豆瓣音乐
百度Geek说2 天前
搜索数据建设系列之数据架构重构
数据仓库·重构·架构·spark·dubbo
_WndProc2 天前
【Python】Flask网页
开发语言·python·flask