sqoop事务如何实现

场景1:如Sqoop在导出hdfs数据到Mysql时,某个字段过长导致任务失败,该错误记录之前的数据正常导入,之后的数据无法导入。如何保证错误发生后数据回滚?

场景2:如Sqoop在导出hdfs数据到Mysql时,某个字段重复导致主键冲突,该错误记录之前的数据正常导入,之后的数据无法导入。如何保证错误发生后数据回滚?

  • 采用staging-table,临时表策略,创建一个临时表要和主表结构一致,数据为空即可,这样会先往临时表写,如果写入过程异常了就会删除临时表数据,否则合并到主表

  • sqoop export \

    --connect jdbc:mysql://172.16.10.155:8306/dmp \

    --username shurong --password Shurong@202205 --table staging \

    --export-dir /warehouse/tablespace/managed/hive/staging/delta_0000001_0000001_0000 \

    --columns name,age \

    --input-fields-terminated-by '\001' \
    --staging-table staging_tmp \
    --clear-staging-table

相关推荐
迈巴赫车主7 小时前
大数据:Hadoop(HDFS)
大数据·hadoop·hdfs
zhojiew1 天前
[INFRA] EMR集群中Hive和Spark集成Glue Data Catalog过程的深入分析
hive·hadoop·spark·aws·bigdata
bukeyiwanshui1 天前
Hive的使用
数据仓库·hive·hadoop
添柴少年yyds2 天前
hive锁机制
数据仓库·hive·hadoop
蓝眸少年CY2 天前
Hive - 安装与使用
数据仓库·hive·hadoop
旺仔小拳头..3 天前
Servlet概念与创建
数据仓库·hive·hadoop
旺仔小拳头..3 天前
Filter 过滤器 与Listener 监听器
数据仓库·hive·hadoop
晨晖23 天前
Servlet的快速入门,请求和响应
hive·hadoop·servlet
yumgpkpm3 天前
AI算力纳管工具GPUStack Server+华为鲲鹏+麒麟操作系统 保姆级安装过程
人工智能·hadoop·华为
hellolianhua3 天前
测试集群hdfs和mapreduce
大数据·hadoop·hdfs