kafka学习笔记

1.kafka是什么?

他是一个类似消息系统,读写流式的数据

编写可扩展的流处理应用程序,用于实时时间响应的场景

安全地将流式的数据存储在一个分布式,有副本,容错的集群

2.用于什么样的场景?

构建实时流数据管道,可以在系统之间或者应用之间可靠地获取数据

构建实时流式应用程序,对这些流数据进行转换或者影响

3.相关概念

kafka作为一个集群,运行在一台或多台服务器上,通过topic对存储的流数据进行分类,每条数据包含一个key,value和timestamp

有四个核心api:

producer api允许一个应用程序发布一串流式数据到一个或者多个topic

consumer api允许一个应用程序订阅一个或者多个topic,并对发布给他们的流式数据进行处理

stream api允许一个应用程序作为一个流处理器,消费一个或者多个topic生产的输入流,然后生产一个输出流,到一个或者多个topic中,在输入流和输出流之间进行流转

connector api允许构建并运行可重用的生产者或者消费者,将kafka topics连接到已存在的应用程序或者数据系统,比如一个关系型数据库,捕捉表的变更

3.spring整合kafka实现消息收发

相关推荐
happycao1234 小时前
记一次kafka消息丢失问题排查
kafka
喜欢猪猪4 小时前
Kafka是如何保证数据的安全性、可靠性和分区的
分布式·kafka
芊言芊语4 小时前
分布式消息服务Kafka版的详细解析和配置方式
分布式·kafka
方圆师兄12 小时前
docker快速搭建kafka
docker·容器·kafka
码爸13 小时前
flink kafka sink (scala)
flink·kafka·scala
圣圣不爱学习15 小时前
阿里云kafka消息写入topic失败
阿里云·kafka
丁总学Java15 小时前
maxwell 输出消息到 kafka
分布式·kafka·maxwell
码上一元17 小时前
消息队列:如何确保消息不会丢失?
kafka·消息队列·rocketmq
懒洋洋的华3691 天前
消息队列-Kafka(概念篇)
分布式·中间件·kafka
happycao1231 天前
kafka之路-01从零搭建环境到SpringBoot集成
kafka