Azure databricks spark overwrite 全量更新的时候容易碰到的问题

原因:Azure databricks spark overwrite 全量ADS层表更新的时候容易碰到的问题正在写入结果有服务请求这个表的数据那如何避免呢?

1、 databricks spark overwrite 到的的时候会先TRUNCATE TABLE 然后再写入,就会碰到查询是空的情况,解决办法是用存储过程解决先写入_bak表,再通过存储过程改表名的方式完成替换。以下是核心代码
注意是用 pymysql 执行

CALL DDL的在mysql的存储需要自己写哈

bash 复制代码
from pymysql import *

# 删除的操作
def ddl_mysql(ddlsql,database):
    
    if ddlsql is None or len(ddlsql)==0:
        return '参数deleteQuery异常!'
    
    jdbcUsername = ****
    jdbcPassword = ****
    
    #创建数据库的连接
    conn=connect(host='123456---_mysql.cn',user=jdbcUsername,password=jdbcPassword,database=database,charset='utf8')
    #创建一个游标对象 可以利用这个对象进行数据库的操作
    try:
        cur=conn.cursor()

        cur.execute(ddlsql)
        # 提交事物
        conn.commit()
        #res=cur.fetchall()

        print(ddlsql + ' is success!')
        #print('sucess')
    except Exception as ex:
        print(ex)
    finally:
        cur.close()
        conn.close()

下面是调用

bash 复制代码
# 开始执行用到的
Mydf = df
Mytable = "tab_produce"  # 生产的表名
Myschema = "produce_db"
Mytablebak = Mytable + '_bak'  # 先写入

print(' --执行存入mysql时间:' + str(datetime.datetime.now()) + ' 表为:' + Myschema + '.' + Mytablebak)
save_to_mysql_overwrite(Mydf,Myschema,Mytablebak)
print(' --在mysql上存储完成时间:' + str(datetime.datetime.now()) + ' 表为:' + Myschema + '.' + Mytablebak)
# 去call你mysql的存储过程
ddl_sql = "call xxxxx('{0}','{1}','{2}')".format(Myschema,Mytable,Mytablebak)
print(' --在mysql上执行过程开始时间:' + str(datetime.datetime.now()))
ddl_mysql(ddl_sql,Myschema)
print(' --在mysql上执行过程完成时间:' + str(datetime.datetime.now()) + ' 存入表为:' + Myschema + '.' + Mytable)
print(str(datetime.datetime.now()) + "数据写入xx表:" + Myschema + "." + Mytable +" 完成! ")
相关推荐
BD_Marathon11 小时前
Spark:背压机制
大数据·分布式·spark
_waylau11 小时前
Spark 新作《循序渐进 Spark 大数据应用开发》简介
大数据·分布式·spark·应用开发
青云游子12 小时前
pySpark乱码
spark
遥遥晚风点点12 小时前
spark 设置hive.exec.max.dynamic.partition不生效
大数据·hive·spark
Java资深爱好者18 小时前
数据湖与数据仓库的区别
大数据·数据仓库·spark
ch_s_t19 小时前
基于flask+jwt+vue前后端分离架构
vue.js·python·flask
一个处女座的程序猿1 天前
LLMs之Code:Github Spark的简介、安装和使用方法、案例应用之详细攻略
大数据·spark·github
阿里云大数据AI技术2 天前
Apache Spark & Paimon Meetup · 北京站,助力 LakeHouse 架构生产落地
大数据·架构·spark·apache
天冬忘忧2 天前
Spark 共享变量:广播变量与累加器解析
大数据·python·spark
天冬忘忧2 天前
Spark 中的 RDD 分区的设定规则与高阶函数、Lambda 表达式详解
大数据·分布式·spark