kafka---broker相关配置

一、Broker 相关配置

1、一般配置

broker.id

当前kafka服务的sid(server id),在kafka集群中,该值是唯一的(unique),如果未设置此值,kafka会自动生成一个int值;为了防止自动生成的值与用户设置的值冲突,自动生成的逻辑是从reserved.broker.max.id + 1这个值开始。
Type: int

Default: -1

Valid Values:

Importance: high

Update Mode: read-only

reserved.broker.max.id

用户可以设置broker.id的最大值,自动生成的broker.id从reserved.broker.max.id + 1这个值开始
Type: int

Default: 1000

Valid Values: [0,...]

Importance: medium

Update Mode: read-only

broker.id.generation.enable

开启自动生成brokerid的功能
Type: boolean

Default: true

Valid Values:

Importance: medium

Update Mode: read-only

注意 1000以上的Broker ID现在默认保留为自动分配的Broker ID。如果集群的现有broker id高于该阈值,请确保相应地增加reserved.broker.max.id broker配置属性。

advertised.listeners

kafka会将该监听地址注册到zk上,同时该地址也是客户端访问地址,如果该值未设置,则将同listeners,与listeners不同的是,advertised.listeners无法使用0.0.0.0地址
Type: string

Default: null

Valid Values:

Importance: high

Update Mode: per-broker

2、 日志数据相关配置

log.dir

存储数据的目录

Type: string

Default: /tmp/kafka-logs

Valid Values:

Importance: high

Update Mode: read-only

log.dirs

逗号分隔的路径列表,用于存放数据,如果未设置,则使用log.dir

Type: string

Default: null

Valid Values:

Importance: high

Update Mode: read-only

log.flush.interval.messages

在一个日志分区( log partition)上需要达到多少个消息,才会将这些消息持久化(刷新)到磁盘上

Type: long

Default: 9223372036854775807

Valid Values: [1,...]

Importance: high

Update Mode: cluster-wide

log.flush.interval.ms

topic中的消息存放在内存中的最大时间,超过这个时间就会被刷新到磁盘上,如果未设置,就使用

log.flush.scheduler.interval.ms

Type: long

Default: null

Valid Values:

Importance: high

Update Mode: cluster-wide

log.flush.scheduler.interval.ms

log flusher检查日志是否需要刷新到磁盘的频率

3、ZK相关配置

zookeeper.connect

指定ZK服务器的连接串,格式hostname:port,为了保障高可用,一般要指定多个地址,即hostname:port,hostname1:port1,hostname2:port2;也可以在配置连接串的时候指定根路径(chroot path),即hostname1:port1,hostname2:port2,hostname3:port3/chroot/path
Type: string

Default: null

Valid Values:

Importance: high

Update Mode: read-only

zookeeper.connection.timeout.ms

kafka连接zk的超时时长,如果未设置,将会使用zookeeper.session.timeout.ms值

Type: int

Default: null

Valid Values:

Importance: high

Update Mode: read-only

zookeeper.session.timeout.ms

kafka连接zk的一个session的超时时间

Type: int

Default: 18000 (18 seconds)

Valid Values:

Importance: high

Update Mode: read-only

二、如何更新broker相关配置

broker的配置有三种更新模式:read-only、per-broker、cluster-wide;

  • read-only:需要重启才能生效
  • per-broker: 可以针对每一个broker动态更新
  • cluster-wide:在集群范围内更新,或者针对每一个broker更新(只为了测试)

对于read-only模式配置,只能通过修改config/server.properties配置文件然后重启生效;

对于 per-broker模式的,可以使用命令行进行修改

bash 复制代码
## 修改
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --alter --add-config log.cleaner.threads=2
## 查询
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --describe
##删除
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --alter --delete-config log.cleaner.threads

对于这些被修改的per-broker模式的配置,会被存储在zk 的==/config/brokers/id==中;

对于 cluster-wide模式的,可以使用命令行进行修改

bash 复制代码
## 新增
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-default --alter --add-config log.cleaner.threads=2
## 查询
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-default --describe

对于这些被修改的cluster-wide模式的配置,会被存储在zk 的==/config/brokers/<default>==中;

注意 在(cluster-wide)集群级别可配置的所有配置也可以在(per-broker)级别进行配置,如果在不同级别定义配置值,则使用以下优先顺序:

  • Dynamic per-broker config stored in ZooKeeper(存储在zk中的 per-broker配置)
  • Dynamic cluster-wide default config stored in ZooKeeper(存储在zk中的 cluster-wide配置)
  • Static broker config from server.properties
    对于一个新启动的kafka,在zk中是没有per-broker和 cluster-wide 动态配置存储的,所以这个时候是以配置文件为主,当对某些动态配置进行配置之后,对应的ZK node中就会有相应数据了,使用顺序如上。

三、kafka-configs.sh 命令详解

kafka-configs.sh 命令必须包含 --alter 或者 --describe 其中一个

kafka-configs.sh --help

kafka-configs.sh --version

--bootstrap-server <lStrng ocalhost:9092> 指定kafka的地址;

--entity-type <String> 指定要修改的实体类型,topics、clients、users、brokers、broker-loggers、ips;

--entity-name String 指定上述实体类型的名;

--entity-default 在上述类型中的cluster-wide范围内更新配置

--alter 修改相应配置

--add-config 'k1=v1' 修改或者更新相应配置 log.cleaner.threads=2,多个值,需要用引号引住,并用逗号分隔开,即'k1=v1,k2=v2,k3=[v1,v2,v3]'

--describe 列出相应配置

--all 列出所有配置

--delete-config String 删除相应配置

--broker id 指定要配置的brokerid

--broker-defaults 更新所有的broker,即cluster-wide模式

相关推荐
Amy187021118234 小时前
分布式光纤传感:照亮每一个角落的“温度感知神经”
分布式
Jabes.yang5 小时前
Java求职面试:从Spring Boot到Kafka的技术探讨
java·spring boot·面试·kafka·互联网大厂
玉石观沧海6 小时前
高压变频器故障代码解析F67 F68
运维·经验分享·笔记·分布式·深度学习
小马爱打代码7 小时前
分布式锁:原理算法和使用建议
分布式·算法
一叶飘零_sweeeet9 小时前
从 “黑盒“ 到 “透明“:SkyWalking 实战指南 —— 让微服务问题无所遁形
分布式·微服务·skywalking·分布式链路追踪
ArabySide10 小时前
【ASP.NET Core】分布式场景下ASP.NET Core中JWT应用教程
分布式·后端·asp.net core
还是大剑师兰特12 小时前
Kafka 面试题及详细答案100道(91-95)-- 问题排查与解决方案1
kafka·大剑师·kafka面试题·kafka教程
小马爱打代码13 小时前
zookeeper:一致性原理和算法
分布式·zookeeper·云原生
Cikiss15 小时前
图解 bulkProcessor(调度器 + bulkAsync() + Semaphore)
java·分布式·后端·elasticsearch·搜索引擎
小马爱打代码15 小时前
zookeeper:架构原理和使用场景
分布式·zookeeper·架构