ElasticSearch数据同步

文章目录

  • ElasticSearch数据同步
  • [1. 同步调用](#1. 同步调用)
  • [2. 异步通知](#2. 异步通知)
  • [3. 监听binlog](#3. 监听binlog)
  • [4. 工作中处理同步的问题](#4. 工作中处理同步的问题)

ElasticSearch数据同步

ElasticSearch中酒店数据来自于mysql数据库,因此MySQL数据发生改变时,ElasticSearch也必须跟着改变,这个就是ElasticSearch和MySQL之间的数据同步

1. 同步调用

  • 优点:实现简单粗暴
  • 缺点:业务耦合度高

2. 异步通知

  • 优点:低耦合,实现难度一般
  • 缺点:依赖MQ的可靠性

3. 监听binlog

  • 优点:完全解除服务间耦合
  • 缺点:开启binlog增加数据库负担,实现复杂度高

4. 工作中处理同步的问题

以上3种,同步调用,异步通知,监听binlog都是增量的 。工作中有时候需要全量刷新ES索引,用过以下几种实现方式:

  • 通过Java代码从数据库写到ElasticSearch和定时任务来实现
  • 通过Kettle从数据库写到ElasticSearch来实现
  • 通过Streamsets从数据库写到ElasticSearch来实现(Streamsets也可以实现监听binlog方式)
  • 通过Apache NIFI从数据库写到ElasticSearch来实现
  • 通过ESB从数据库写到ElasticSearch来实现
相关推荐
大大大大晴天7 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界12 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天12 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城14 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk55514 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证14 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读16 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI16 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy199017 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
Lansonli17 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark