kafka学习1 - 线程、进程消息通信方式、JMS模型、Kafka原理图

1、线程和线程之间的数据交互

两个不同的线程之间是可以通过堆内存的方式进行数据交互的;

T1线程的数据发送得到堆内存,T2线程就可以共享堆内存的数据。

存在的问题:

T1线程发送数据的速率是50/s,T2线程消费的速率是30/s,消费的速率小于生产的速率,就会有大量的数据积压在堆内存或者磁盘文件上,时间长了后,积压的数据就会越来越多,导致影响整个流程的性能。

2、进程和进程之间的数据交互

进程与进程之间的通信可以通过消息中间件的方式

3、Java中实现消息传输的方式JMS

Java Message Service

原理图:

1、点对点模式【P2P模式】

这种模式是一个消息只能发送给一个消费者消费,其他消费者是接收不到的,消费者接收到消息后会反馈给Provider生产者说明消息已被接受到,消息被消费完后就会丢失。

2、发布-订阅模式【PS模式】

发布-订阅模式是消费者订阅某个主题的消息,主题的消息可以被多个消费者订阅消费。

ActiveMQ、RabbitMQ、RocketMQ是遵循JMS规范的;Kafka是部分遵循JMS的规范

在大数据场景中我们主要采用kafka作为消息中间件,而在javaEE开发中我们主要采用ActiveMQ、RabbitMQ、RocketMQ作为消息中间件。如果JavaEE和大数据在项目中进行融合,那么kafka是不错的选择。

4、kafka的原理图

在kafka中,通过偏移量的方式标记每个消息,来确保消息的顺序性。

相关推荐
zr想努力16 分钟前
GAS学习(UE5自用)
学习·ue5
她说..22 分钟前
MySQL JSON 处理学习文档
学习·mysql·json
资讯综合42 分钟前
一年级数学机构怎么选?与学习阶段相匹配的线上思维课程与线下机构差异分析
学习
M78佐菲1 小时前
51单片机学习笔记(2)
linux·笔记·嵌入式硬件·学习·51单片机
子不语1801 小时前
LabVIEW和PLC通过OPC通信
学习·自动化·plc
萧行之1 小时前
Observable Plot 源码深度解析——4 核心抽象逐项学习
前端·学习·数据可视化
浔溺1 小时前
al+大数据每日学习笔记37
大数据·笔记·学习
TheBestRucy2 小时前
PyTorch 基本使用学习笔记
pytorch·笔记·学习
ouynagda2 小时前
51 单片机 LED 流水灯 + 数码管动态扫描学习笔记(STC89C52)
笔记·单片机·学习