Kafka 生产者与消费者配置详解

Kafka 生产者与消费者配置详解

一、DefaultKafkaProducerFactory 生产者配置详解

配置项	示例值	作用说明	调优建议
ProducerConfig.BOOTSTRAP_SERVERS_CONFIG	"localhost:9092"	Kafka 集群地址列表，生产者通过此地址发现集群。	配置多个地址（用逗号分隔）以提高可用性。
ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG	StringSerializer.class	消息键的序列化器。键用于分区路由，保证相同键的消息进入同一分区。	根据键类型选择，常用：StringSerializer、ByteArraySerializer、自定义序列化器。
ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG	JsonSerializer.class	消息值的序列化器。将消息对象转换为字节流。	常用：JsonSerializer（JSON）、StringSerializer（字符串）、ByteArraySerializer（字节数组）。
ProducerConfig.ACKS_CONFIG	"all"	消息确认机制，定义生产者认为请求完成的条件。	"all"：最高可靠性，领导者+所有副本持久化。 1：领导者确认。 0：无需确认。
ProducerConfig.RETRIES_CONFIG	3	发送失败后的重试次数。	结合幂等性使用，通常3-5次。网络不稳定可适当增加。
ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG	true	启用幂等性，防止消息重复发送。	重要！开启后结合重试实现"精确一次"语义的基础。
ProducerConfig.MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION	5	单个连接上未确认请求的最大数量。	开启幂等性时，此值需 ≤ 5 以保证分区有序性。
ProducerConfig.COMPRESSION_TYPE_CONFIG	"snappy"	消息压缩算法，减少网络和存储开销。	"snappy"：速度与压缩比均衡。 "gzip"：压缩比高。 "lz4"：速度快。 "zstd"：Kafka 2.1+ 推荐。
ProducerConfig.DELIVERY_TIMEOUT_MS_CONFIG	120000	消息交付总超时时间，包含重试时间。	Kafka 4.x+ 特有。设置足够大以容纳重试，如2-5分钟。
ProducerConfig.LINGER_MS_CONFIG	5	批次发送前的等待时间，允许更多消息进入同一批次。	增加可提高吞吐，但增加延迟。通常5-100ms。
ProducerConfig.BATCH_SIZE_CONFIG	16384	批次大小（字节），达到此大小则立即发送。	增加批次大小可提高吞吐，但消耗更多内存。通常16-64KB。
ProducerConfig.BUFFER_MEMORY_CONFIG	33554432	生产者缓冲区的总内存大小。	默认32MB。高吞吐场景可增加（如64-128MB）。
ProducerConfig.REQUEST_TIMEOUT_MS_CONFIG	30000	生产者请求的超时时间。	包括确认、重试等。通常30-60秒。
ProducerConfig.MAX_BLOCK_MS_CONFIG	60000	缓冲区满或元数据获取时的最大阻塞时间。	防止生产者无限等待。默认1分钟。
ProducerConfig.CLIENT_ID_CONFIG	"producer-1"	客户端标识，用于日志和监控。	建议有意义的名称，便于问题排查。
ProducerConfig.PARTITIONER_CLASS_CONFIG	自定义分区器	自定义分区策略的类。	默认 RoundRobinPartitioner。可自定义实现 Partitioner 接口。
ProducerConfig.INTERCEPTOR_CLASSES_CONFIG	拦截器列表	生产者拦截器链，用于监控、增强等。	可实现 ProducerInterceptor 接口添加自定义逻辑。

二、DefaultKafkaConsumerFactory 消费者配置详解

配置项	示例值	作用说明	调优建议
ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG	"localhost:9092"	Kafka 集群地址列表，消费者连接入口。	同生产者，配置多个地址。
ConsumerConfig.GROUP_ID_CONFIG	"my-consumer-group"	消费者组ID，组内消费者共同消费主题，实现负载均衡。	必须唯一。业务相关命名，如 order-service-group。
ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG	ErrorHandlingDeserializer.class	键的反序列化器。这里使用错误处理包装器。	通常用 ErrorHandlingDeserializer 包装真实反序列化器，提高容错。
ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG	ErrorHandlingDeserializer.class	值的反序列化器。同上，使用错误处理包装器。	同上，内部指定真实反序列化器。
ErrorHandlingDeserializer.KEY_DESERIALIZER_CLASS	StringDeserializer.class	错误处理反序列化器内部使用的键反序列化器。	根据键的实际类型设置，如 StringDeserializer。
ErrorHandlingDeserializer.VALUE_DESERIALIZER_CLASS	JsonDeserializer.class	错误处理反序列化器内部使用的值反序列化器。	根据值的实际类型设置，如 JsonDeserializer。
ConsumerConfig.AUTO_OFFSET_RESET_CONFIG	"latest"	当无有效偏移量时（如新组），从何处开始消费。	"latest"：从最新消息开始。 "earliest"：从最早消息开始。 "none"：无偏移量时报错。
ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG	false	是否自动提交偏移量。	生产环境建议 false（手动提交），实现"至少一次"语义。
ConsumerConfig.MAX_POLL_RECORDS_CONFIG	500	单次 poll() 调用的最大记录数。	控制单次处理量。增大可提高吞吐，但增加内存和处理时间。
ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG	300000	两次 poll() 调用的最大间隔。超时则消费者被踢出组。	根据单条/批处理时间设置。长时间处理需增大（如5-10分钟）。
ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG	45000	消费者会话超时时间。心跳超时则被踢出组。	默认45秒。网络不稳定可适当增加。
ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG	3000	消费者发送心跳的频率。	通常为 SESSION_TIMEOUT_MS 的1/3，如3秒。
ConsumerConfig.FETCH_MIN_BYTES_CONFIG	1024	消费者拉取请求的最小字节数。不足则等待。	增大可减少请求数，提高吞吐，但增加延迟。
ConsumerConfig.FETCH_MAX_WAIT_MS_CONFIG	500	等待满足 FETCH_MIN_BYTES 的最长时间。	平衡延迟和吞吐。通常与 FETCH_MIN_BYTES 配合调整。
ConsumerConfig.FETCH_MAX_BYTES_CONFIG	52428800	单次拉取请求的最大字节数。	默认50MB。高吞吐场景可增加，但注意内存。
ConsumerConfig.MAX_PARTITION_FETCH_BYTES_CONFIG	1048576	每个分区单次拉取的最大字节数。	默认1MB。分区数据不均可适当增加。
ConsumerConfig.ISOLATION_LEVEL_CONFIG	"read_committed"	隔离级别，控制事务消息的读取。	"read_committed"：只读已提交消息。 "read_uncommitted"：读所有消息（默认）。
ConsumerConfig.CLIENT_ID_CONFIG	"consumer-1"	客户端标识，用于日志和监控。	建议有意义的名称，便于追踪。
ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG	分配策略类	分区分配给消费者的策略。	默认 RangeAssignor。可选 RoundRobinAssignor、StickyAssignor 等。
ConsumerConfig.REQUEST_TIMEOUT_MS_CONFIG	30000	消费者请求的超时时间。	默认30秒。网络不稳定可增加。
JsonDeserializer.TRUSTED_PACKAGES	"com.example.dto"	JSON 反序列化器信任的包名，安全限制。	必须设置！防止反序列化攻击。可使用 "*" 允许所有（不推荐）。
JsonDeserializer.USE_TYPE_INFO_HEADERS	false	是否使用消息头中的类型信息。	通常 false，配合 VALUE_DEFAULT_TYPE 明确指定类型。
JsonDeserializer.VALUE_DEFAULT_TYPE	"com.example.dto.UserEvent"	JSON 反序列化的默认目标类型。	当消息无类型信息时使用。批量监听时需指定容器类型，如 "java.util.HashMap"。

三、高级调优配置

3.1 生产者高级配置

配置项	示例值	作用说明	适用场景
ProducerConfig.TRANSACTIONAL_ID_CONFIG	"tx-producer-1"	事务ID，用于跨分区原子写入。	需要"精确一次"语义的金融、订单等场景。
ProducerConfig.TRANSACTION_TIMEOUT_CONFIG	60000	事务超时时间，超时则事务被中止。	事务操作耗时较长时需增加。
ProducerConfig.ENABLE_METRICS_CONFIG	true	是否启用指标收集。	监控需要。通常开启。
ProducerConfig.METRIC_REPORTER_CLASSES_CONFIG	指标报告器列表	自定义指标报告器。	集成监控系统（如 Prometheus）时使用。
ProducerConfig.INTERCEPTOR_CLASSES_CONFIG	拦截器列表	生产者拦截器链。	用于监控、审计、消息增强等。

3.2 消费者高级配置

配置项	示例值	作用说明	适用场景
ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG	5000	自动提交偏移量的间隔（当 ENABLE_AUTO_COMMIT=true 时）。	自动提交模式。生产环境慎用。
ConsumerConfig.METADATA_MAX_AGE_CONFIG	300000	元数据（如分区信息）刷新间隔。	默认5分钟。分区变化频繁可减小。
ConsumerConfig.CONNECTIONS_MAX_IDLE_MS_CONFIG	540000	空闲连接关闭时间。	默认9分钟。长连接场景可增加。
ConsumerConfig.DEFAULT_API_TIMEOUT_MS_CONFIG	60000	默认API超时时间。	默认1分钟。网络不稳定可增加。
ConsumerConfig.EXCLUDE_INTERNAL_TOPICS_CONFIG	true	是否排除内部主题（如 __consumer_offsets）。	通常保持 true，除非需要监控内部主题。
ConsumerConfig.CHECK_CRCS_CONFIG	true	是否检查消息CRC，验证数据完整性。	默认开启。性能敏感场景可关闭（不推荐）。

四、配置最佳实践总结

4.1 生产者配置原则

1. 可靠性优先：

   • 设置 acks=all 和 enable.idempotence=true
   • 合理设置 retries 和 delivery.timeout.ms

2. 性能调优：

   • 根据网络延迟调整 linger.ms（5-100ms）
   • 根据消息大小调整 batch.size（16-64KB）
   • 启用压缩（compression.type=snappy/lz4）

3. 资源控制：

   • 监控 buffer.memory 使用率
   • 设置合理的 max.block.ms 防止阻塞

4.2 消费者配置原则

1. 偏移量管理：

   • 生产环境使用手动提交（enable.auto.commit=false）
   • 正确处理提交异常，避免消息丢失或重复

2. 性能与稳定性：

   • 根据处理能力设置 max.poll.records
   • 长时间处理任务需增加 max.poll.interval.ms
   • 合理设置 fetch.min.bytes 和 fetch.max.wait.ms 平衡延迟与吞吐

3. 容错处理：

   • 使用 ErrorHandlingDeserializer 处理反序列化错误
   • 配置死信队列处理重试失败的消息
   • 设置合理的 session.timeout.ms 和 heartbeat.interval.ms

4.3 配置模板示例

生产者高可靠性配置

Map<String, Object> producerConfigs = new HashMap<>();
producerConfigs.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
producerConfigs.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
producerConfigs.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, JsonSerializer.class);
producerConfigs.put(ProducerConfig.ACKS_CONFIG, "all");
producerConfigs.put(ProducerConfig.RETRIES_CONFIG, 3);
producerConfigs.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, true);
producerConfigs.put(ProducerConfig.MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION, 5);
producerConfigs.put(ProducerConfig.DELIVERY_TIMEOUT_MS_CONFIG, 120000);
producerConfigs.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "snappy");

消费者高吞吐配置

Map<String, Object> consumerConfigs = new HashMap<>();
consumerConfigs.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
consumerConfigs.put(ConsumerConfig.GROUP_ID_CONFIG, "high-throughput-group");
consumerConfigs.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, ErrorHandlingDeserializer.class);
consumerConfigs.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, ErrorHandlingDeserializer.class);
consumerConfigs.put(ErrorHandlingDeserializer.KEY_DESERIALIZER_CLASS, StringDeserializer.class);
consumerConfigs.put(ErrorHandlingDeserializer.VALUE_DESERIALIZER_CLASS, JsonDeserializer.class);
consumerConfigs.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
consumerConfigs.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);
consumerConfigs.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 1000);
consumerConfigs.put(ConsumerConfig.FETCH_MIN_BYTES_CONFIG, 10240);
consumerConfigs.put(ConsumerConfig.FETCH_MAX_WAIT_MS_CONFIG, 1000);
consumerConfigs.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, 300000);
consumerConfigs.put(JsonDeserializer.TRUSTED_PACKAGES, "com.example.dto");

消费者低延迟配置

Map<String, Object> consumerConfigs = new HashMap<>();
consumerConfigs.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
consumerConfigs.put(ConsumerConfig.GROUP_ID_CONFIG, "low-latency-group");
consumerConfigs.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
consumerConfigs.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, JsonDeserializer.class);
consumerConfigs.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
consumerConfigs.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);
consumerConfigs.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 10); // 少量拉取
consumerConfigs.put(ConsumerConfig.FETCH_MIN_BYTES_CONFIG, 1); // 有数据立即返回
consumerConfigs.put(ConsumerConfig.FETCH_MAX_WAIT_MS_CONFIG, 10); // 最短等待
consumerConfigs.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, 30000);

五、配置验证与监控

5.1 配置验证

// 验证生产者配置
ProducerFactory<String, Object> producerFactory = new DefaultKafkaProducerFactory<>(configs);
Map<String, Object> producerConfigs = producerFactory.getConfigurationProperties();
// 验证消费者配置
ConsumerFactory<String, Object> consumerFactory = new DefaultKafkaConsumerFactory<>(configs);
Map<String, Object> consumerConfigs = consumerFactory.getConfigurationProperties();

5.2 关键监控指标

1. 生产者指标：

   • record-send-rate：发送速率
   • record-error-rate：错误率
   • request-latency-avg：平均请求延迟
   • bufferpool-wait-ratio：缓冲区等待比例

2. 消费者指标：

   • records-consumed-rate：消费速率
   • records-lag-max：最大消息积压
   • fetch-rate：拉取速率
   • commit-rate：提交速率

3. JVM 指标：

   • 堆内存使用率
   • GC 频率和时间
   • 线程数