【MongoDB 新搭档 Kafka】

对于做过数据处理,使用过消息队列的小伙伴 ,Kafka可以算是老朋友了,但是最近一个场景下,新的用法,让其变为了MongoDB的新搭档。

开始

从一个问题开始,熟悉MongoDB的小伙伴,可能使用过changeStream。

changeStream:允许应用程序实时订阅和处理数据库中的数据变化,即当MongoDB Client使用changeStream来订阅某个表的时候,表中的实时数据有变化,则会被MongoDB Client端近乎实时监控并获取到。但是这种实时的数据监控获取背后,隐藏着很大的成本。

沉重的changeStream

看过MongoDB Client源码的伙伴,可以发现对于changeStream的实现 ,MongoDB Client的实现,是一个不关闭的cursor, 不断的查询(对于数据库的操作符: getmore),是否有新的符合要求的数据产生。这样对于数据库每秒轮询的次数 ,取决于网络io耗时,假设每次查询耗时10ms,则1s内 可以查询,数据库 1000/10 ⇒ 100次。

这还是开启了一个changeStream,如果一个MongoDB Client开启了多个changeStream,而整个服务又有多个MongoDB Client,那么对于MongoDB Server来说,是很消耗资源的,所以changeStream 对于MongoDB Server 来说,比较重。

搭配Kafka,优化一下

优化后,搭配Kafka,结构变为了 MongoDB → kafaka → kafaka client,如下

再前后对比一下 ,

可以看到的changeStream 减少了,只和kafka交互, MongoDB Server压力小了很多 ,此外随着订阅者的增多,请求与交互的增多,这种结构还有额外的优势,

  • 订阅数量:Kafka 单实例支持最大订阅数的能力还是更多的。
  • 横向扩容:虽然MongoDB也支持横向扩容 ,但是相对来说 ,Kafka的横向扩容相较于MongoDB更轻松些。

同时由于单个Kafka实例就可以支持较高的订阅数,扩少部分的实例,就可以获得更多的并发订阅能力。

Kafka - MongoDB 二者关系

搭配Kafka,MongoDB 有两种使用关系,

关系1 :AS source - MongoDB 作为数据源

这种就是上面提到的,结构 :MongoDB → Kafka → APP (Kafka Client)

MongoDB作为数据的提供者,Kafka 做数据扩散。

作为数据扩散服务,扇形结构,类似的服务很多,还有之前写过的SNS 【一文搞懂 AWS-SNS 服务】),也是可以做扇形数据扩散。

关系2:AS sink - MongoDB 作为接收者

结构:Kafka → MongoDB → APP (MongoDB Client)

MongoDB作为数据接受者,接收来Kafka的数据,存储数据并提供给下游更高效的查询能力。

最后

MongoDB配合Kakfa,在有些场景下,十分有益。但这种做法其实优缺点也比较明显,

  • 优点 ,减轻数据库负担,订阅容量增大, 横向扩容能力变强 。
  • 缺点,也显而易见,新增一个Kafka服务,维护成本也会变大。

所以,如何选择,要根据实际场景,实际的数据量,订阅量来决定是否搭配Kafka。

相关推荐
ai产品老杨21 分钟前
基于 Docker 容器化与异构计算的智能安防架构:解耦 GB28181/RTSP 协议与多芯片适配,源码交付如何助力集成商节省 95% 开发成本?
docker·容器·架构
Solis程序员22 分钟前
MongoDB 超全入门到实战:从原理、CRUD到高可用架构
数据库·mongodb·架构
yurenpai(27届找实习中)26 分钟前
redis_点评(26.附近店铺——实现附近商家功能)
数据库·spring boot·redis
BullSmall28 分钟前
异构数据库(通俗 + 核心知识点)
数据库
Rick199331 分钟前
索引下推(ICP):在已经用到联合索引的前提下,减少回表次数,提升查询效率
数据库
金海境科技34 分钟前
实践分享!虚拟化数据恢复前三标准
数据库
zhangfeng113334 分钟前
部署/推理大模型的程序架构(推理引擎/框架)及其开源协议
人工智能·语言模型·自然语言处理·架构·开源协议
无心水38 分钟前
【Harness:落地实战】18、从“龙虾”到“爱马仕”:Hermes 进化,全自动自进化 Harness 的架构革命
人工智能·架构·openclaw·养龙虾·harness·hermes·honcho
不剪发的Tony老师42 分钟前
RedisME:一个现代化、轻量级Redis管理工具
数据库·redis
金海境科技1 小时前
实践分享!服务器数据恢复口碑榜
数据库