sqoop事务如何实现

场景1:如Sqoop在导出hdfs数据到Mysql时,某个字段过长导致任务失败,该错误记录之前的数据正常导入,之后的数据无法导入。如何保证错误发生后数据回滚?

场景2:如Sqoop在导出hdfs数据到Mysql时,某个字段重复导致主键冲突,该错误记录之前的数据正常导入,之后的数据无法导入。如何保证错误发生后数据回滚?

  • 采用staging-table,临时表策略,创建一个临时表要和主表结构一致,数据为空即可,这样会先往临时表写,如果写入过程异常了就会删除临时表数据,否则合并到主表

  • sqoop export \

    --connect jdbc:mysql://172.16.10.155:8306/dmp \

    --username shurong --password Shurong@202205 --table staging \

    --export-dir /warehouse/tablespace/managed/hive/staging/delta_0000001_0000001_0000 \

    --columns name,age \

    --input-fields-terminated-by '\001' \
    --staging-table staging_tmp \
    --clear-staging-table

相关推荐
TTBIGDATA5 小时前
【Ambari开启Kerberos】KERBEROS SERVICE CHECK 报错
大数据·运维·hadoop·ambari·cdh·bigtop·ttbigdata
码·蚁15 小时前
SpringMVC
数据仓库·hive·hadoop
杂家1 天前
Hadoop完全分布式部署(超详细)
大数据·hadoop·分布式
BD_Marathon1 天前
【Hadoop】hadoop3.3.1完全分布式配置
大数据·hadoop·分布式
Q26433650232 天前
【有源码】基于Hadoop+Spark的起点小说网大数据可视化分析系统-基于Python大数据生态的网络文学数据挖掘与可视化系统
大数据·hadoop·python·信息可视化·数据分析·spark·毕业设计
yumgpkpm2 天前
CMP(类Cloudera CDP 7.3 404版华为泰山Kunpeng)和Apache Doris的对比
大数据·hive·hadoop·spark·apache·hbase·cloudera
梦里不知身是客113 天前
spark读取table中的数据【hive】
大数据·hive·spark
yumgpkpm3 天前
Doris 并入CMP7(类Cloudera CDP 7.3.1 404华为鲲鹏ARM版)的方案和实施源代码
大数据·oracle·sqlite·sqoop·milvus·cloudera
yumgpkpm3 天前
Doris在CMP7(类Cloudera CDP 7 404版华为Kunpeng)启用 Kerberos部署Doris
大数据·hive·hadoop·python·oracle·flink·cloudera
数据牧羊人的成长笔记4 天前
Hadoop 分布式计算MapReduce和资源管理Yarn
hadoop·eclipse·mapreduce