kafka学习笔记

1.kafka是什么?

他是一个类似消息系统,读写流式的数据

编写可扩展的流处理应用程序,用于实时时间响应的场景

安全地将流式的数据存储在一个分布式,有副本,容错的集群

2.用于什么样的场景?

构建实时流数据管道,可以在系统之间或者应用之间可靠地获取数据

构建实时流式应用程序,对这些流数据进行转换或者影响

3.相关概念

kafka作为一个集群,运行在一台或多台服务器上,通过topic对存储的流数据进行分类,每条数据包含一个key,value和timestamp

有四个核心api:

producer api允许一个应用程序发布一串流式数据到一个或者多个topic

consumer api允许一个应用程序订阅一个或者多个topic,并对发布给他们的流式数据进行处理

stream api允许一个应用程序作为一个流处理器,消费一个或者多个topic生产的输入流,然后生产一个输出流,到一个或者多个topic中,在输入流和输出流之间进行流转

connector api允许构建并运行可重用的生产者或者消费者,将kafka topics连接到已存在的应用程序或者数据系统,比如一个关系型数据库,捕捉表的变更

3.spring整合kafka实现消息收发

相关推荐
圣心6 小时前
Kafka 使用说明(kafka官方文档中文)
分布式·kafka·linq
圣心7 小时前
Kafka中文文档
分布式·kafka
大秦王多鱼7 小时前
Kafka SASL/PLAIN介绍
分布式·安全·kafka
苏苏大大8 小时前
Kafka下载
分布式·kafka
LUCIAZZZ13 小时前
基于Docker以KRaft模式快速部署Kafka
java·运维·spring·docker·容器·kafka
大秦王多鱼13 小时前
Kafka SSL(TLS)安全协议
安全·kafka·ssl
优人ovo1 天前
Kafa分区策略实现
分布式·kafka
大秦王多鱼1 天前
Kafka 压缩算法详细介绍
运维·分布式·kafka·apache
优人ovo2 天前
Kafka的内部通信协议
分布式·kafka
Forest 森林2 天前
【MQ】探索 Kafka
分布式·kafka