kafka学习笔记

1.kafka是什么?

他是一个类似消息系统,读写流式的数据

编写可扩展的流处理应用程序,用于实时时间响应的场景

安全地将流式的数据存储在一个分布式,有副本,容错的集群

2.用于什么样的场景?

构建实时流数据管道,可以在系统之间或者应用之间可靠地获取数据

构建实时流式应用程序,对这些流数据进行转换或者影响

3.相关概念

kafka作为一个集群,运行在一台或多台服务器上,通过topic对存储的流数据进行分类,每条数据包含一个key,value和timestamp

有四个核心api:

producer api允许一个应用程序发布一串流式数据到一个或者多个topic

consumer api允许一个应用程序订阅一个或者多个topic,并对发布给他们的流式数据进行处理

stream api允许一个应用程序作为一个流处理器,消费一个或者多个topic生产的输入流,然后生产一个输出流,到一个或者多个topic中,在输入流和输出流之间进行流转

connector api允许构建并运行可重用的生产者或者消费者,将kafka topics连接到已存在的应用程序或者数据系统,比如一个关系型数据库,捕捉表的变更

3.spring整合kafka实现消息收发

相关推荐
starzy19903 小时前
Kafka响应发送:字节是怎么真正写回客户端的
大数据·kafka
阳光不锈@5 小时前
三大主流消息队列架构设计思想剖析:从 RabbitMQ 到 RocketMQ 的改造实践
kafka·rabbitmq·rocketmq·rabbit改造rocket·去除rabbitmq·rabbitmq改造
ZealSinger9 小时前
Boot4升后Kafka retry属性怎么改
kafka·retry·boot4·升级踩坑
starzy199010 小时前
KafkaProducer 源码深度剖析:处理粘包问题的完美方案
大数据·kafka
MrWind灬13 小时前
我给自己写了个 Kafka 桌面客户端:MrWindKafkaClient
kafka·pyqt
starzy19901 天前
KafkaProducer 源码深度剖析:与 Broker 建立连接
大数据·kafka
我不会起名字3222 天前
Kafka 重复消费:自动提交位点与手动提交的 3 个错位
kafka·消息队列·幂等·排查
ly76893 天前
Kafka 消费者重试与死信:Spring for Apache Kafka 的边界设计
spring·kafka·apache·并发消费·消费者重试·死信主题·位移提交
我不会起名字3224 天前
Kafka 顺序消息为什么乱了:分区数变化与重试的 3 类原因
kafka·消息队列·顺序·排查
每天一道题4 天前
Kafka 是如何工作的?从 Broker、Partition、Offset 到 Consumer Group
分布式·kafka