sqoop事务如何实现

场景1:如Sqoop在导出hdfs数据到Mysql时,某个字段过长导致任务失败,该错误记录之前的数据正常导入,之后的数据无法导入。如何保证错误发生后数据回滚?

场景2:如Sqoop在导出hdfs数据到Mysql时,某个字段重复导致主键冲突,该错误记录之前的数据正常导入,之后的数据无法导入。如何保证错误发生后数据回滚?

  • 采用staging-table,临时表策略,创建一个临时表要和主表结构一致,数据为空即可,这样会先往临时表写,如果写入过程异常了就会删除临时表数据,否则合并到主表

  • sqoop export \

    --connect jdbc:mysql://172.16.10.155:8306/dmp \

    --username shurong --password Shurong@202205 --table staging \

    --export-dir /warehouse/tablespace/managed/hive/staging/delta_0000001_0000001_0000 \

    --columns name,age \

    --input-fields-terminated-by '\001' \
    --staging-table staging_tmp \
    --clear-staging-table

相关推荐
计算机毕业编程指导师15 小时前
【计算机毕设推荐】Python+Spark卵巢癌风险数据可视化系统完整实现 毕业设计 选题推荐 毕设选题 数据分析 机器学习 数据挖掘
hadoop·python·计算机·数据挖掘·spark·毕业设计·卵巢癌
极光代码工作室15 小时前
基于大数据的校园消费行为分析系统
大数据·hadoop·python·数据分析·spark
二十六画生的博客2 天前
每个subtask都提交一份快照到hdfs,会把10个小的快照合并成一个大的吗?谁来合并?
大数据·hadoop·hdfs·flink
隐于花海,等待花开2 天前
41.ABS / POW / SQRT 函数深度解析
大数据·hive
千月落2 天前
HDFS数据迁移
大数据·hadoop·hdfs
隐于花海,等待花开3 天前
40.RAND 函数深度解析
hive·hadoop
孤雪心殇3 天前
快速上手数仓基础知识
数据仓库·hive·spark
隐于花海,等待花开4 天前
39.ROUND / FLOOR / CEIL 函数深度解析
hive·hadoop
看海的四叔5 天前
【SQL】SQL-管好你的字符串
大数据·数据库·hive·sql·数据分析·字符串
坚持就完事了5 天前
YARN资源管理器
大数据·linux·hadoop·学习