kafka学习笔记

1.kafka是什么?

他是一个类似消息系统,读写流式的数据

编写可扩展的流处理应用程序,用于实时时间响应的场景

安全地将流式的数据存储在一个分布式,有副本,容错的集群

2.用于什么样的场景?

构建实时流数据管道,可以在系统之间或者应用之间可靠地获取数据

构建实时流式应用程序,对这些流数据进行转换或者影响

3.相关概念

kafka作为一个集群,运行在一台或多台服务器上,通过topic对存储的流数据进行分类,每条数据包含一个key,value和timestamp

有四个核心api:

producer api允许一个应用程序发布一串流式数据到一个或者多个topic

consumer api允许一个应用程序订阅一个或者多个topic,并对发布给他们的流式数据进行处理

stream api允许一个应用程序作为一个流处理器,消费一个或者多个topic生产的输入流,然后生产一个输出流,到一个或者多个topic中,在输入流和输出流之间进行流转

connector api允许构建并运行可重用的生产者或者消费者,将kafka topics连接到已存在的应用程序或者数据系统,比如一个关系型数据库,捕捉表的变更

3.spring整合kafka实现消息收发

相关推荐
雨言yyds3 小时前
Kafka
分布式·kafka
倚肆1 天前
Kafka 生产者与消费者配置详解
java·分布式·后端·kafka
倚肆1 天前
Kafka TopicBuilder 主题配置详解
java·服务器·kafka
The Sheep 20231 天前
Hadoop学习
分布式·kafka
打工的小王2 天前
消息队列之Kafka(一)搭建服务
分布式·kafka
DemonAvenger2 天前
Kafka高可用设计揭秘:副本机制与选举策略的实践之道
性能优化·kafka·消息队列
Jack_David2 天前
kafka_2.13-4.1.1集群安装
java·分布式·kafka
愿你天黑有灯下雨有伞2 天前
Spring Boot 整合 Kafka:生产环境标准配置与最佳实践
java·kafka
jiuweiC2 天前
kafka重平衡问题-golang
分布式·golang·kafka