DataX(DataX简介、部署、同步数据)

DataX(DataX简介、部署、同步数据)

☀快乐无限 法力无边

目录

DataX(DataX简介、部署、同步数据)

1.DataX简介

1)数据采集模块:

2)数据写入模块:

2.DataX部署

1)DataX下载解压

[2)自检 执行以下命令](#2)自检 执行以下命令)

3)自检报错

4)解决方法

3.hbase2mysql

4.MySQL2Hbase

5.Mysql2Phoenix

6.HDFS2Hbase

1.DataX简介

DataX 是一种用于大数据场景下的数据同步工具,主要用于数据迁移、数据同步等场景。它是阿里巴巴开发的一款开源数据同步工具,支持各种数据源之间的数据同步任务,包括但不限于关系型数据库、NoSQL 数据库、HDFS、Hive 等。DataX 主要包含两部分:

1)数据采集模块:

负责从不同的数据源中读取数据,并将数据传输给下游处理模块。支持的数据源包括 MySQL、Oracle、SQL Server、PostgreSQL、HDFS、Hive 等。

2)数据写入模块:

负责将采集到的数据写入到目标数据源中。同样支持多种目标数据源,包括 MySQL、Oracle、HDFS、Hive 等。

DataX 的设计理念是高效、易用、可扩展。它采用了插件化的设计思路,可以通过配置文件的方式实现各种数据源之间的数据同步任务,并且可以根据实际需求扩展新的数据源和数据处理功能。DataX 提供了丰富的插件库,用户可以根据自己的需求选择合适的插件来完成数据同步任务。

总的来说,DataX 是一个功能强大、灵活性高的数据同步工具,适用于各种大数据场景下的数据同步需求。

2.DataX部署

1)DataX下载解压

下载地址:

http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

解压datax.tar.gz到/usr/local/soft/

2)自检 执行以下命令
java 复制代码
python /usr/local/soft/datax/bin/datax.py /usr/local/soft/datax/job/job.json
3)自检报错

当我们执行上面的自检命令时 可能会出现以下报错信息

java 复制代码
DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


2024-06-06 08:53:29.406 [main] WARN  ConfigParser - 插件[streamreader,streamwriter]加载失败,1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误,您提供的配置文件[/usr/local/soft/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.
2024-06-06 08:53:30.410 [main] ERROR Engine -

经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误,您提供的配置文件[/usr/local/soft/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.
        at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
        at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95)
        at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153)
        at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:125)
        at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63)
        at com.alibaba.datax.core.Engine.entry(Engine.java:137)
        at com.alibaba.datax.core.Engine.main(Engine.java:204)
4)解决方法

删除plugin目录下的reader文件夹和writer文件夹下的 ._xxx 文件

再次执行自检命令

python /usr/local/soft/datax/bin/datax.py /usr/local/soft/datax/job/job.json

自检成功

3.hbase2mysql

4.MySQL2Hbase

5.Mysql2Phoenix

6.HDFS2Hbase

相关推荐
bksczm1 小时前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql
靠沿1 小时前
MySQL数据库进阶——存储过程和触发器
java·数据库·mysql
码少女2 小时前
MySQL--库与表的增删改查基础
java·数据库·mysql
阿里云大数据AI技术2 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
Eyfcom2 小时前
〖物流 SaaS 实战 02〗SaaS 租户的计费与订阅模型:从“一锤子买卖”到“按需订阅”
linux·服务器·数据库·快递系统·物流saas实战
衡石科技3 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
打工的小王3 小时前
postgresql和mysql对比
数据库·mysql·postgresql
瑞克-桑切斯4 小时前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
数据库急诊室_阿哲4 小时前
一次割接后的性能复核记录:基线、样本、回滚点
运维·数据库·dba
保利威视频SaaS小张5 小时前
企业直播接入笔记 12|企业内训直播怎么做签到和学时统计,防挂机这件事比想象中难
java·前端·数据库·笔记·视频云·polvy·polyv