kafka学习笔记

1.kafka是什么?

他是一个类似消息系统,读写流式的数据

编写可扩展的流处理应用程序,用于实时时间响应的场景

安全地将流式的数据存储在一个分布式,有副本,容错的集群

2.用于什么样的场景?

构建实时流数据管道,可以在系统之间或者应用之间可靠地获取数据

构建实时流式应用程序,对这些流数据进行转换或者影响

3.相关概念

kafka作为一个集群,运行在一台或多台服务器上,通过topic对存储的流数据进行分类,每条数据包含一个key,value和timestamp

有四个核心api:

producer api允许一个应用程序发布一串流式数据到一个或者多个topic

consumer api允许一个应用程序订阅一个或者多个topic,并对发布给他们的流式数据进行处理

stream api允许一个应用程序作为一个流处理器,消费一个或者多个topic生产的输入流,然后生产一个输出流,到一个或者多个topic中,在输入流和输出流之间进行流转

connector api允许构建并运行可重用的生产者或者消费者,将kafka topics连接到已存在的应用程序或者数据系统,比如一个关系型数据库,捕捉表的变更

3.spring整合kafka实现消息收发

相关推荐
小楼昨夜又东风12617 小时前
kafka、rocketmq、rabbitmq,有什么区别
kafka·rabbitmq·rocketmq
Thomas21432 天前
kafka 存储flink changelog两种方式和形态
分布式·flink·kafka
禾吾3 天前
Kafka基础-安装、基础命令等
kafka
cpolar技术支持3 天前
Kafka Streams 窗口统计怎么验收:本地跑订单流聚合,用 cpolar 给同事看只读结果页
java·docker·kafka·cpolar·kafka streams
MZA6663 天前
Spring Boot 实战:基于自定义注解 + AOP 实现 Kafka 消息无侵入异步上送
java·spring boot·kafka
重庆小透明3 天前
Kafka 完全指南:从基础组件到核心原理(包含面试题)
java·分布式·微服务·架构·kafka
一本正经的不务正业3 天前
kafka与RocketMQ的不同
分布式·kafka·rocketmq
johnrui3 天前
kafka4.x单机版安装部署(单节点 KRaft 模式)
kafka
面向Google编程4 天前
Kafka 成了 Agent 的「共享内存」,Flink 成了它的「大脑」
flink·kafka·agent
醉颜凉4 天前
Kafka ISR与AR深度解析:副本同步机制核心概念
分布式·架构·kafka·ar