阿里二面：Kafka 消费者消费消息慢（10 多分钟），会对 Kafka 有什么影响？

文章内容收录到个人网站，方便阅读：hardyfish.top/

资料分享

Kafka权威指南 (中文高清完整带书签)

资料链接：url81.ctfile.com/f/57345181-...

访问密码：3899

Kafka 消费者消费消息慢（10 多分钟），会对 Kafka 产生以下影响：

1. 分区滞后（Lag 增大）

影响：

查看 Lag：

css 复制代码

kafka-consumer-groups.sh --bootstrap-server <broker> --group <consumer-group> --describe

关注LAG值，若持续增加，说明消费跟不上。

影响：

组内消费者处理慢，可能会触发 Rebalance，导致消费暂停、吞吐下降。
心跳超时 (session.timeout.ms 默认 45s)，如果超过，Kafka 认为消费者失效，会触发 Rebalance，导致组内所有消费者重新分配分区，进一步影响消费速率。

优化：

影响：

优化：

影响：

磁盘占用 ：消费者消费慢，Kafka Broker 需要存储更多未消费的消息，导致磁盘压力大，甚至可能触发磁盘溢满。
页面缓存（Page Cache）失效：Kafka 依赖 OS Page Cache 提升读取性能，若消息长期积压，数据可能被 Page Cache 淘汰，读取效率降低。

优化：

影响：

如果生产速率过高，而消费跟不上，Kafka 可能因磁盘写满 而导致生产者写入失败。
生产端会收到 kafka.common.errors.ProducerBlockedException 或 kafka.common.errors.TimeoutException 错误。

优化：

增加消费者实例数：
- 如果是 单消费者多分区 ，增加 consumer-group 内的实例数，让多个消费者并行处理不同分区的数据。
- 示例：
  css 复制代码
```
kafka-consumer-groups.sh --bootstrap-server <broker> --group <consumer-group> --describe
```
  若CURRENT-OFFSET和LAG持续增加，说明需要扩容。
优化消费逻辑：
- 减少单条消息处理时间：
  - 避免复杂计算、数据库阻塞（如使用批量插入）。
  - 使用异步处理 （如 CompletableFuture）。
- 调大 fetch.min.bytes（减少网络请求）：
  ini 复制代码
```
properties
fetch.min.bytes=1048576  # 1MB
```
- 调大 fetch.max.wait.ms（减少轮询压力）：
  ini 复制代码
```
properties
fetch.max.wait.ms=500  # 500ms
```
调整 Kafka 配置：
- 增大 log.retention.ms，避免消息过期丢失：
  css 复制代码
```
kafka-configs.sh --alter --entity-type topics --entity-name <topic> --add-config retention.ms=604800000
```
- 提高 max.poll.records（一次拉取更多消息）：
  ini 复制代码
```
max.poll.records=500
```

Kafka 消费慢的影响：

优化方向：