es数据同步(仅供自己参考)

数据同步的问题分析:

当MySQL进行增删改查的时候,数据库的数据有所改变,这个时候需要修改es中的索引库的值,这个时候就涉及到了数据同步的问题

解决方法:

1、同步方法:

当服务对MySQL进行增删改的时候,这个时候使用fegin远程调用,将所更改的数据发送到es的服务上,使得es数据得到及时的更新

优点:简单、粗暴

缺点:服务之间耦合度高,MySQL服务响应慢,必须等待es更改完成。

2、异步方法:

使用消息中间件rabbitMQ,服务进行增删改的时候将信息放到MQ,es的服务去MQ中拿到信息,去更新自己的数据

优点:耦合度低,实现难度一般

缺点:依赖MQ的可靠性

3、使用binlog

MySQL在进行增删改的时候会将操作记录到binlog上,然后在使用canal(通道)中间件,通知es发生改变,这样就会使得es数据得到更新

优点:完全接触服务之间的耦合

缺点:开启binlog增加数据库负担,实现复杂度高。

相关推荐
AgentMaster23 分钟前
零售行业智能客服系统怎么选?3 大场景落地与 4 款平台对比实践
大数据·人工智能·算法
跨境小彭28 分钟前
多店铺运营实践:基于轻量 ERP 的定时自动化任务使用记录
大数据·自动化·跨境电商·temu
远航计算机36 分钟前
客服记录怎么变成 AI 会引用的内容?五步清洗法
大数据·人工智能·算法·aigc
字节跳动数据平台40 分钟前
把矩阵计算留在数据旁边:Xeon AMX 如何加速 LanceDB 与 AI 数据湖
大数据
玩美数据1 小时前
精选全球市场研究服务网络对比,帮助企业精准筛选并快速实现海外落地
大数据
码流子1 小时前
几万路监控怎么接:高速公路视频汇聚平台的架构设计与落地坑点
大数据·人工智能·物联网·算法·架构
会编程的李较瘦1 小时前
Spark On Yarn 集群搭建
大数据·spark
NailiConveyor1 小时前
智能物流装备市场的技术观察|输送设备应用与自动化渗透|仓储物流装备的数据分析
大数据·自动化·业界资讯
2601_960356382 小时前
2026届用户分析师校招能力栈:SQL、指标体系、BI与AI分析
大数据
Elasticsearch2 小时前
jina-ocr-v1:一个支持布局、表格、数学公式和 100 多种语言的 OCR 模型
elasticsearch