ElasticSearch数据同步

文章目录

  • ElasticSearch数据同步
  • [1. 同步调用](#1. 同步调用)
  • [2. 异步通知](#2. 异步通知)
  • [3. 监听binlog](#3. 监听binlog)
  • [4. 工作中处理同步的问题](#4. 工作中处理同步的问题)

ElasticSearch数据同步

ElasticSearch中酒店数据来自于mysql数据库,因此MySQL数据发生改变时,ElasticSearch也必须跟着改变,这个就是ElasticSearch和MySQL之间的数据同步

1. 同步调用

  • 优点:实现简单粗暴
  • 缺点:业务耦合度高

2. 异步通知

  • 优点:低耦合,实现难度一般
  • 缺点:依赖MQ的可靠性

3. 监听binlog

  • 优点:完全解除服务间耦合
  • 缺点:开启binlog增加数据库负担,实现复杂度高

4. 工作中处理同步的问题

以上3种,同步调用,异步通知,监听binlog都是增量的 。工作中有时候需要全量刷新ES索引,用过以下几种实现方式:

  • 通过Java代码从数据库写到ElasticSearch和定时任务来实现
  • 通过Kettle从数据库写到ElasticSearch来实现
  • 通过Streamsets从数据库写到ElasticSearch来实现(Streamsets也可以实现监听binlog方式)
  • 通过Apache NIFI从数据库写到ElasticSearch来实现
  • 通过ESB从数据库写到ElasticSearch来实现
相关推荐
用户Taobaoapi20141 小时前
京东图片搜索相似商品API开发指南
大数据·数据挖掘·数据分析
镭眸1 小时前
因泰立科技:用激光雷达重塑智能工厂物流生态
大数据·人工智能·科技
AAA修煤气灶刘哥1 小时前
ES 地理查询玩明白,产品要的 “附近的店” 再也难不倒我!(附 DSL+Java 实战)
java·后端·elasticsearch
IT研究室3 小时前
大数据毕业设计选题推荐-基于大数据的贵州茅台股票数据分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
Lx3524 小时前
Hadoop异常处理机制:优雅处理失败任务
大数据·hadoop
小嵌同学4 小时前
Linux:malloc背后的实现细节
大数据·linux·数据库
IT毕设梦工厂5 小时前
大数据毕业设计选题推荐-基于大数据的国家基站整点数据分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·spark·毕业设计·源码·数据可视化
江瀚视野6 小时前
苹果要在抖音上卖iPhone了?苹果看上了抖音什么?
大数据
微三云-轩6 小时前
区块链系统:解决549 亿元积分商城是否违法的问题
大数据·小程序·重构·区块链·生活
AAA修煤气灶刘哥6 小时前
ES 聚合爽到飞起!从分桶到 Java 实操,再也不用翻烂文档
后端·elasticsearch·面试