DataX实现Mysql与ElasticSearch(ES)数据同步

文章目录

一、Linux环境要求

jdk1.8及以上

python2

二、准备工作

2.1 Linux安装jdk

linux 复制代码
 yum install -y java-1.8.0-openjdk.x86_64

查看是否安装成功

linux 复制代码
java -version

2.2 linux安装python

linux 复制代码
 yum install -y python

查看python版本号,判断是否安装成功

linux 复制代码
python --version

2.3 下载DataX:

三、DataX压缩包导入,解压缩

linux 复制代码
tar -zxvf datax.tar.gz 

四、编写同步Job

在datax/job下,json格式,具体内容及主要配置含义如下

mysqlreader为读取mysql数据部分,配置mysql相关信息

username,password为数据库账号密码

querySql:需要查询数据的sql,也可通过colums指定需要查找的字段(querySql优先级高)

elasticsearchwriter部分为数据写入ES部分,配置ES相关信息,

endpoint为ES地址,index为索引,columns为需要写入列的信息,其余配置选填

坑!:若运行时提示mysql连接失败,且账号密码,ip,端口号都没问题的情况下,需要像文中一样在jdbcUrl的内容后面加上useSSL=false"

linux 复制代码
vim /opt/software/datax/job/job.json

将内容换成以下内容

json 复制代码
{
    "job": {
      "setting": { 
          "speed": {
              "channel": 1
          },
          "errorLimit": {
              "percentage": 0
          }
      },
      "content": [
          {
            "reader": {
                "name": "mysqlreader",
                "parameter": {
                    "username": "root",
                    "password": "123456",
                    "connection": [{
                        "querySql": ["select * from user_t"],
                        "jdbcUrl": ["jdbc:mysql://数据库地址:3306/mysql?useSSL=false"]
                    }]
                }
            },
              "writer": {
                  "name": "elasticsearchwriter",
                  "parameter": {
                      "endpoint":"http://ES地址:9200",
                       "accessId":"",
                      "accessKey":"",
                      "index": "user-demo",
                      "cleanup": false,
                      "discovery":false,
                      "column": [
                          {
                            "name": "id",
                            "type": "id"
                          },
                        {
                            "name": "userName",
                            "type": "text"
                        },
                                                 {
                            "name": "address",
                            "type": "text"
                        }

                      ]
                  }
              }
            }
        ]
        }
    }

五、执行Job

配置好之后执行命令:

python 复制代码
 python /opt/software/datax/bin/datax.py /opt/software/datax/job/job.json 

注意换成自己的datax路径

正常情况下输出一大堆之后会是这样,由于我在mysql表中插了三条测试数据,,所以读出记录总数为3
完成操作

六、定时更新

6.1 创建定时任务

vim crondatax

内容:

5 13 * * * python /opt/software/datax/bin/datax.py /opt/software/datax/job/job.json

/opt/software/datax/log.date +\%Y\%m\%d\%H\%M\%S 2>&1

含义为每天13:05执行python /opt/software/datax/bin/datax.py /opt/software/datax/job/job.json 命令,日志输出地址为/opt/software/datax,命名为"log.时间"

crontab格式可参考下图:

6.2 提交定时任务

crontab crondatax

/sbin/service crond restart

6.3 查看定时任务

crontab -l

七、增量更新思路

数据库表设计时加入最后操作时间字段,新增,修改数据都会记录最新时间

Datax的json中,mysql查询语句中按照定时任务规律,查询此字段时间大于定时任务时间间隔之前的时间的数据。

相关推荐
摩羯座-185690305946 小时前
爬坑 10 年!京东店铺全量商品接口实战开发:从分页优化、SKU 关联到数据完整性闭环
linux·网络·数据库·windows·爬虫·python
INFINI Labs7 小时前
如何使用 INFINI Gateway 对比 ES 索引数据
大数据·elasticsearch·gateway·easysearch
编程充电站pro7 小时前
SQL 面试高频:INNER JOIN vs LEFT JOIN 怎么考?
数据库·sql
这周也會开心7 小时前
SQL-窗口函数做题总结
数据库·sql
间彧7 小时前
TiDB详解与Spring Boot实战指南
数据库
极限实验室7 小时前
Easysearch 字段'隐身'之谜:source_reuse 与 ignore_above 的陷阱解析
数据库·redis
2301_772093568 小时前
tuchuang_后端_前端_注册登录
数据库·后端·网络协议·mysql·wireshark
K_i1348 小时前
中国电信用户行为实时分析系统运维实战
hadoop·mysql
武子康8 小时前
Java-141 深入浅出 MySQL Spring事务失效的常见场景与解决方案详解(3)
java·数据库·mysql·spring·性能优化·系统架构·事务
间彧8 小时前
脏读、不可重复读、幻读详解与对比
数据库