Kafka基础

Kafka

是一个分布式的发布-订阅消息系统,可以快速的处理高吞吐量的数据流,并将数据实时的分发到多个消费者中。

特点

  • 数据吞吐量大:需要能够快速收集各个渠道的海量日志
  • 集群容错性高:允许集群中少量节点崩溃
  • 功能柜不需要太复杂:高吞吐,低延迟和可扩展
  • 允许少量数据丢失:在海量日志中,少量的日志丢失是不会影响结果的。

kafka的基础工作机制是消息发送者可以将消息发送到kafka上指定的topic,而消息消费者,可以从指定的topic上消费消息。

  • 客户端Client:包括消息生产者和消费者
  • 消费者组:每个消费者可以指定一个所属的消费者组,想通消费者组的消费者共同构成一个逻辑消费者组。但一个消息只会在内部被消费一次;
  • 服务端Broker:一个kafka服务器就是一个Broker
  • 话题Topic:这是一个逻辑概念,一个Topic被认为是业务含义相同的一组消息。并不存储数据
  • 分区Partition:Topic只是一个逻辑概念,而Partition就是一个实际存储消息的组件。每个Partition就是一个队列结构。

Topic下的消息是如何存储的

kafka都会以追加的方式写入到log日志文件中,kafka中的消息日志,只允许追加,不可以删除或者修改。

首先:index和timeindex都是以相对偏移量的方式建立log消息日志的数据索引。比如说 0000.index和0550.index中记录的索引数字,都是从0开始的。表示相对日志文件起点的消息偏移量。而绝对的消息偏移量可以通过日志文件名 + 相对偏移量得到。

然后:这两个索引并不是对每一条消息都建立索引。而是Broker每写入40KB的数据,就建立一条index索引。由参数log.index.interval.bytes定制。

kafka中大量的运用了零拷贝机制来加速文件读写。

相关推荐
国科安芯4 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence7 小时前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626121 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi1 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding1 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
stark张宇2 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛2 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人2 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人3 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing4 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb