kafka第二篇——主题创建,主题分区副本分配策略

目录

主题创建

引入

回顾主题,分区,副本关系

代码

主题分区副本分配策略

底层逻辑分析


主题创建

引入

为啥才开始在idea上跑代码,topic都没创建出来,就直接跑出来了?

这是因为AutoTopicCreationManger参数可以自动创建主题,但是这往往不是我们想要的。

Admin 是 Kafka 客户端库中的一个类,它提供了与 Kafka 集群进行管理交互的功能。通过 Admin,你可以执行一些管理操作,如创建主题、删除主题、列出主题、修改配置等。Admin.create()

topic的三个参数

回顾主题,分区,副本关系

主题包含一个或多个分区,每个分区在集群中有多个副本(Replica)分布在不同的 Broker 上。通过合理设计主题、分区和副本的布局,Kafka 可以实现高吞吐量、低延迟和可靠性的分布式消息传递系统。可以看文章kafka1中的架构推演发展历程标题下的内容。

java 复制代码
1. **主题(Topic)**:
   - 主题是消息的逻辑容器,用于将相关的消息组织在一起。生产者(Producer)将消息发布到特定的主题,而消费者(Consumer)则订阅并从主题中接收消息。
   - 一个主题可以拥有多个分区,主题的消息会被分发到不同的分区中,以实现消息的水平扩展和并行处理。

2. **分区(Partition)**:
   - 分区是主题的物理存储单元,每个主题可以被划分为一个或多个分区。分区内的消息是有序的,但整个主题内的消息顺序不保证。
   - 分区的作用是将数据分散存储在不同的 Broker 上,以便实现水平扩展和负载均衡。每个分区在集群中都有多个副本(Replica)进行备份,以确保数据的可靠性和容错性。

3. **Broker**:
   - Broker 是 Kafka 集群中的每个节点(服务器),负责存储分区副本、处理生产者和消费者的请求,以及数据的复制和分发。
   - 每个 Broker 可以存储一个或多个分区的副本,当生产者发送消息时,消息会被写入对应分区的 Leader 副本,然后通过副本同步机制复制到其他副本。
   - 生产者和消费者通过与 Broker 进行通信来发送和接收消息,Broker 之间也会进行数据的同步和复制,以保持数据的一致性和可用性。

综上所述,主题包含一个或多个分区,每个分区在集群中有多个副本(Replica)分布在不同的 Broker 上。通过合理设计主题、分区和副本的布局,Kafka 可以实现高吞吐量、低延迟和可靠性的分布式消息传递系统。

代码

java 复制代码
import org.apache.kafka.clients.admin.Admin;
import org.apache.kafka.clients.admin.AdminClientConfig;
import org.apache.kafka.clients.admin.NewTopic;

import java.util.Arrays;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ExecutionException;

public class AdminTopicTest {
    public static void main(String[] args) {
        // 配置Kafka集群的Bootstrap服务器地址
        Map<String, Object> confMap = new HashMap<>();
        confMap.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");

        // 创建Admin对象
        try (Admin admin = Admin.create(confMap)) {
            // 创建主题名称
            String topicName = "my-new-topic";
            int numPartitions = 3; // 分区数
            short replicationFactor = 1; // 副本因子
            
            // 构建新主题
            NewTopic newTopic = new NewTopic(topicName, numPartitions, replicationFactor);

            // 创建主题
            admin.createTopics(Arrays.asList(newTopic)).all().get();
            
            System.out.println("Topic created successfully");
        } catch (InterruptedException | ExecutionException e) {
            e.printStackTrace();
            System.err.println("Failed to create topic");
        }
    }
}

pom.xml

java 复制代码
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.8.0</version> <!-- 使用最新稳定版本 -->
</dependency>

主题分区副本分配策略

原本

理想状态

kafka内部真实状态

来看kafka的内部实现

所以试试自己更改

底层逻辑分析

controller启动后会同时启动副本状态机和分区状态机没总结完,后续补充

相关推荐
微笑听雨27 分钟前
Java 设计模式之单例模式(详细解析)
java·后端
微笑听雨27 分钟前
【Drools】(二)基于业务需求动态生成 DRL 规则文件:事实与动作定义详解
java·后端
猫猫的小茶馆1 小时前
【STM32】FreeRTOS 任务的删除(三)
java·linux·stm32·单片机·嵌入式硬件·mcu·51单片机
天天摸鱼的java工程师1 小时前
🔧 MySQL 索引的设计原则有哪些?【原理 + 业务场景实战】
java·后端·面试
空影学Java1 小时前
Day44 Java数组08 冒泡排序
java
追风少年浪子彦2 小时前
mybatis-plus实体类主键生成策略
java·数据库·spring·mybatis·mybatis-plus
创码小奇客2 小时前
Talos 使用全攻略:从基础到高阶,常见问题一网打尽
java·后端·架构
jackzhuoa3 小时前
java小白闯关记第一天(两个数相加)
java·算法·蓝桥杯·期末
Rover.x3 小时前
内存泄漏问题排查
java·linux·服务器·缓存
midsummer_woo3 小时前
基于spring boot的纺织品企业财务管理系统(源码+论文)
java·spring boot·后端