文章目录
概要
kafka broker、consumer、和producer都有很多可配置的参数。本文主要总结日常开发中常用到的参数。其中producer端可以在org.apache.kafka.clients.producer.ProducerConfig
中找到配置项，consumer端可以在org.apache.kafka.clients.consumer.ConsumerConfig中找到各配置项。
broker端参数
$KAFKA_HOME/config/server.properties文件中的配置。
| 参数名称 | 描述 | 举例/默认值 |
|---|---|---|
| zookeeper.connect | 用于配置Kafka要连接的Zookeeper/集群的地址。 它的值是一个字符串，使用逗号分隔Zookeeper的多个地址 Zookeeper的单个地址是 host:port形式的，可以在最后添加Kafka在Zookeeper中的根节点路径 | zookeeper.connect=node2:2181, node3:2181,node4:2181/myKafka |
| listeners | 用于指定当前Broker向外发布服务的地址和端口。 | listeners=PLAINTEXT://0.0.0.0:9092 |
| listener.security.protocol.map | 监听器名称和安全协议的映射配置 比如，可以将内外网隔离 | listener.security.protocol.map=INTERNAL:SSL, EXTERNAL:SSL |
| inter.broker.listener.name | 于配置broker之间通信使用的监听器名称，该名称必须在advertised.listeners列表中 | inter.broker.listener.name=EXTERNAL |
| advertised.listeners | 将该地址发布到zookeeper供客户端使用 |
典型配置
xml
listener.security.protocol.map=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
listeners=INTERNAL://192.168.100.101:9092,EXTERNAL:node1:9093
inter.broker.listener.name=EXTERNAL
advertised.listeners=PLAINTEXT://node1:9092| 参数名称 | 描述 | 举例/默认值 |
|---|---|---|
| broker.id | 用于唯一标记一个Kafka的Broker，它的值是一个任意integer值 | broker.id=0 |
| log.dir | 定Kafka在磁盘上保存消息的日志片段的目录 |
producer端参数
| 参数名称 | 描述 | 举例/默认值 |
|---|---|---|
| bootstrap.servers | 生产者客户端与broker集群建立初始连接需要的broker地址列表 | node1:9092,node2:9092 |
| acks | acks=0：生产者不等待broker的任何消息确认。只要将消息放到了socket的缓冲区，就认为消息已发送。不能保证服务器是否收到该消息，retries设置也不起作用，因为客户端不关心消息是否发送失败。客户端收到的消息偏移量永远是-1。 acks=1：leader将记录写到它本地日志，就响应客户端确认消息，而不等待follower副本的确认。如果leader确认了消息就宕机，则可能会丢失消息，因为follower副本可能还没来得及同步该消息。 acks=all：leader等待所有同步的副本确认该消息。保证了只要有一个同步副本存在，消息就不会丢失。这是最强的可用性保证。等价于acks=-1 | 默认值为1，字符串。可选值：[all, -1, 0, 1] |
| compression.type | 生产者生成数据的压缩格式。默认是none（没有压缩）。允许的值：none，gzip，snappy和lz4。压缩是对整个消息批次来讲的。消息批的效率也影响压缩的比例。消息批越大，压缩效率越好。 | 默认是none |
| retries | 设置该属性为一个大于1的值，将在消息发送失败的时候重新发送消息，允许重试，但是不设置max.in.flight.requests.per.connection为1，存在消息乱序的可能，因为如果两个批次发送到同一个分区，第一个失败了重试，第二个成功了，则第一个消息批在第二个消息批后 | 默认：0，可选值：[0,...,2147483647] |
| retry.backoff.ms | 在向一个指定的主题分区重发消息的时候，重试之间的等待时间。避免了密集循环的重新发送请求 | long型值，默认100。可选值：[0,...] |
| request.timeout.ms | 客户端等待请求响应的最大时长。如果服务端响应超时，则会重发请求，除非达到重试次数。该设置应该比 replica.lag.time.max.ms (a broker configuration)要大，以免在服务器延迟时间内重发消息 | int类型值，默认：30000ms |
| batch.size | 当多个消息发送到同一个分区的时候，生产者尝试将多个记录作为一个批来处理。批处理提高了客户端和服务器的处理效率。 该配置项以字节为单位控制默认批的大小。 所有的批小于等于该值 发送给broker的请求将包含多个批次，每个分区一个 如果该值设置的比较小，会限制吞吐量（设置为0会完全禁用批处理）。如果设置的很大，又有一点浪费内存，因为Kafka会永远分配这么大的内存来参与到消息的批整合中 | 16384 |
| client.id | 生产者发送请求的时候传递给broker的id字符串。 用于在broker的请求日志中追踪什么应用发送了什么消息。 一般该id是跟业务有关的字符串 | |
| buffer.memory | 生产者可以用来缓存等待发送到服务器的记录的总内存字节。如果记录的发送速度超过了将记录发送到服务器的速度，则生产者将阻塞 max.block.ms 的时间，此后它将引发异常。此设置应大致对应于生产者将使用的总内存 | long型数据。默认值：33554432 |
| max.block.ms | 控制 KafkaProducer.send() 和 KafkaProducer.partitionsFor() 阻塞的时长。当缓存满了或元数据不可用的时候，这些方法阻塞。在用户提供的序列化器和分区器的阻塞时间不计入 | long型值，默认：60000，可选值：[0,...] |
| linger.ms | 一批消息发往broker的时机由两个参数控制，一个时batch.size,另一个时linger.ms，linger.ms表示这批消息的等待时间，消息不管有没达到batche.size的大小，达到了linger.ms的等待时间也会向broker端发送 | long型值，默认：0 |
| max.request.size | 单个请求的最大字节数。该设置会限制单个请求中消息批的消息个数，以免单个请求发送太多的数据。服务器有自己的限制批大小的设置，与该配置可能不一样 | int类型值，默认1048576 |
| max.in.flight.requests.per.connection | 单个连接上未确认请求的最大数量。达到这个数量，客户端阻塞。如果该值大于1，且存在失败的请求，在重试的时候消息顺序不能保证 | int类型值，默认5 |
consumer端参数
| 参数名称 | 描述 | 默认值 |
|---|---|---|
| bootstrap.servers | 向Kafka集群建立初始连接用到的host/port列表 | |
| client.id | 当从服务器消费消息的时候向服务器发送的id字符串，在ip/port基础上，提供应用的逻辑名称，记录在服务端的请求日志中，用于追踪请求的源。 | |
| group.id | 用于唯一标志当前消费者所属的消费组的字符串 | |
| auto.offset.reset | earliest：自动重置偏移量到最早的偏移量 latest：自动重置偏移量为最新的偏移量 none：如果消费组原来的（previous）偏移量不存在，则向消费者抛异常 anything：向消费者抛异常 | 默认值，latest |
| enable.auto.commit | 是否自动提交位移 | true |
| auto.commit.interval.ms | 如果设置了 enable.auto.commit 的值为true，则该值定义了消费者偏移量向Kafka提交的频率 | 5000ms |
| fetch.min.bytes | 服务器对每个拉取消息的请求返回的数据量最小值。如果数据量达不到这个值，请求等待，以让更多的数据累积，达到这个值之后响应请求。默认设置是1个字节，表示只要有一个字节的数据，就立即响应请求，或者在没有数据的时候请求超时。将该值设置为大一点儿的数字，会让服务器等待稍微长一点儿的时间以累积数据。如此则可以提高服务器的吞吐量，代价是额外的延时间。 | 1字节 |
| fetch.max.wait.ms | 如果服务器端的数据量达不到 fetch.min.bytes 的话，服务器端不能立即响应请求。该时间用于配置服务器端阻塞请求的最大时长 | |
| session.timeout.ms | 当使用Kafka的消费组的时候，消费者周期性地向broker发送心跳数表明自己的存在。如果经过该超时时间还没有收到消费者的心跳，则broker将消费者从消费组移除，并启动再平衡。该值必须在broker配置 group.min.session.timeout.ms 和group.max.session.timeout.ms 之间。 | 45000ms |
| heartbeat.interval.ms | 当使用消费组的时候，该条目指定消费者向消费者协调器发送心跳的时间间隔。心跳是为了确保消费者会话的活跃状态，同时在消费者加入或离开消费组的时候方便进行再平衡。该条目的值必须小于 session.timeout.ms ，也不应该高于session.timeout.ms 的1/3。可以将其调整得更小，以控制正常重新平衡的预期时间。 | 3000ms |
| max.poll.records | 一次调用poll()方法返回的记录最大数量 | 500 |
| max.poll.interval.ms | 使用消费组的时候调用poll()方法的时间间隔。该条目指定了消费者调用poll()方法的最大时间间隔。如果在此时间内消费者没有调用poll()方法，则broker认为消费者失败，触发再平衡，将分区分配给消费组中其他消费者。 | 300000ms |