sqoop事务如何实现

场景1:如Sqoop在导出hdfs数据到Mysql时,某个字段过长导致任务失败,该错误记录之前的数据正常导入,之后的数据无法导入。如何保证错误发生后数据回滚?

场景2:如Sqoop在导出hdfs数据到Mysql时,某个字段重复导致主键冲突,该错误记录之前的数据正常导入,之后的数据无法导入。如何保证错误发生后数据回滚?

  • 采用staging-table,临时表策略,创建一个临时表要和主表结构一致,数据为空即可,这样会先往临时表写,如果写入过程异常了就会删除临时表数据,否则合并到主表

  • sqoop export \

    --connect jdbc:mysql://172.16.10.155:8306/dmp \

    --username shurong --password Shurong@202205 --table staging \

    --export-dir /warehouse/tablespace/managed/hive/staging/delta_0000001_0000001_0000 \

    --columns name,age \

    --input-fields-terminated-by '\001' \
    --staging-table staging_tmp \
    --clear-staging-table

相关推荐
桃林春风一杯酒11 小时前
HADOOP_HOME and hadoop.home.dir are unset.
大数据·hadoop·分布式
B站计算机毕业设计超人16 小时前
计算机毕业设计Hadoop+Spark+DeepSeek-R1大模型民宿推荐系统 hive民宿可视化 民宿爬虫 大数据毕业设计(源码+LW文档+PPT+讲解)
大数据·hadoop·爬虫·机器学习·课程设计·数据可视化·推荐算法
知初~1 天前
出行项目案例
hive·hadoop·redis·sql·mysql·spark·database
m0_748235951 天前
Python大数据可视化:基于Python的王者荣耀战队的数据分析系统设计与实现_flask+hadoop+spider
hadoop·python·flask
轩昂7K2 天前
sqoop的sql语言导入方式
前端·sql·sqoop
B站计算机毕业设计超人2 天前
计算机毕业设计hadoop+spark旅游景点推荐 旅游推荐系统 旅游可视化 旅游爬虫 景区客流量预测 旅游大数据 大数据毕业设计
大数据·hadoop·爬虫·深度学习·机器学习·数据可视化·推荐算法
我要用代码向我喜欢的女孩表白2 天前
hive迁移补数脚本细粒度 表名-分区唯一键
数据仓库·hive·hadoop
隔壁老登2 天前
查询hive指定数据库下所有表的建表语句并生成数据字典
数据库·hive·hadoop
m0_748233643 天前
【分布式】Hadoop完全分布式的搭建(零基础)
大数据·hadoop·分布式
薇晶晶3 天前
如何安装Hadoop
大数据·hadoop·分布式