《深入理解kafka-核心设计与实践原理》

本文是对于**《深入理解kafka-核心设计与实践原理》**的笔记和提纲整理

主要用于复习和知识点快速复习

第一章:概念

链接:《深入理解kafka-核心设计与实践原理》第一章:概念

第一章:概念

  • 1.1\] 基本概念 * \[1.1.1\] 基本角色与概念 * \[1.1.2\] 其他概念(AR、ISR、OSR、HW、LEO)

第二章:生产者

链接:《深入理解kafka-核心设计与实践原理》第二章:生产者

第二章:生产者

  • 2.1\] api使用 * \[2.1.1\] 生产者:KafkaProducer * \[2.1.2\] 消息体:ProducerRecord * \[2.1.3\] 序列化器:Serializer * \[2.1.4\] 分区器:Partitioner * \[2.1.5\] 拦截器:Interceptor

    • 2.2.1\] 整体架构

  • 2.3\] 重要的生产者参数 * \[2.3.1\] acks * \[2.3.2\] max.request.size * \[2.3.3\] retries和retry.backoff.ms * \[2.3.4\] 其他参数

第三章:消费者

链接:《深入理解kafka-核心设计与实践原理》第三章:消费者

第三章:消费者

  • 3.1\] 消费者与消费组 * \[3.1.1\] 消费者(Consumer) * \[3.1.2\] 消费组(Consumer Group) * \[3.1.3\] 消息投递模式

    • 3.2.1\] 必要的配置参数

    • 3.2.3\] 反序列化

    • 3.2.5\] 位移提交 * \[3.2.5.1\] offset * \[3.2.5.2\] 消费后的提交方式:自动提交/手动提交

    • 3.2.7\] 指定位移消费

    • 3.2.9\] 消费者拦截器

  • 3.3\] 重要的消费者参数

第四章:主题和分区

链接:《深入理解kafka-核心设计与实践原理》第四章:主题和分区

第四章:主题和分区

  • 4.1\] 主题管理 * \[4.1.1\] 创建主题

  • 4.3\] 分区管理 * \[4.3.1\] 优先副本的选举 * \[4.3.2\] 分区重分配(Partition Reassignment) * \[4.3.3\] 复制限流 * \[4.3.4\] 修改副本因子

补充:一些实际问题的理解

链接:《深入理解kafka》对于实际问题的理解

Q1:消息可靠性(不重不漏)

  • 1.1 如何保证消息不丢
  • 1.2 如何保证消息不重

Q2:积压/消费能力

  • 2.1 线上积压排查思路
  • 2.2 增加消费能力
相关推荐
sql2008help3 小时前
5-Kafka-replication(副本机制)概念
分布式·kafka
CodeWithMe1 天前
【Note】《Kafka: The Definitive Guide》 第5章:深入 Kafka 内部结构,理解分布式日志系统的核心奥秘
分布式·kafka
CodeWithMe1 天前
【Note】《Kafka: The Definitive Guide》第一章:Meet Kafka
分布式·kafka
CodeWithMe1 天前
【Note】《Kafka: The Definitive Guide》 第二章 Installing Kafka:Kafka 安装与运行
分布式·kafka
CodeWithMe1 天前
【Note】《Kafka: The Definitive Guide》 第8章: Cross-Cluster Data Mirroring
分布式·kafka
Alaia.1 天前
【kafka 3.9.1】单机版集群部署并配置kafka的SASL认证
分布式·kafka
亲爱的非洲野猪2 天前
Kafka消息积压的多维度解决方案:超越简单扩容的完整策略
java·分布式·中间件·kafka
亲爱的非洲野猪2 天前
Kafka “假死“现象深度解析与解决方案
分布式·kafka
CodeWithMe2 天前
【Note】《Kafka: The Definitive Guide》第三章: Kafka 生产者深入解析:如何高效写入 Kafka 消息队列
分布式·kafka
虾条_花吹雪2 天前
2、Connecting to Kafka
分布式·ai·kafka