Kafka客户端性能参数调优

调优方向:吞吐量

Producer:

• batch.size: increase to 100000--200000 (default 16384)

linger.ms: increase to 10--100 (default 0)

• compression.type=lz4 (default none, i.e., no compression)

• acks=1 (default 1)

• buffer.memory: increase if there are a lot of partitions (default 33554432)

Consumer:

• fetch.min.bytes: increase to ~100000 (default 1)
调优方向:低延迟

Producer:

• linger.ms=0 (default 0)

• compression.type=none (default none, i.e., no compression)

• acks=1 (default 1)

Consumer:

• fetch.min.bytes=1 (default 1)
调优方向:持久性(消息不丢失

replication.factor=3

• acks=all (default 1)

• enable.idempotence=true (default false), to prevent duplicate messages and out-of-order

messages

• max.in.flight.requests.per.connection=1 (default 5), to prevent out of order messages

when not using an idempotent producer

Consumer:

• enable.auto.commit=false (default true)

• isolation.level=read_committed (when using EOS transactions)

调优方向:可用性

Consumer:

session.timeout.ms: increase (default 10000)

max.poll.records减少

相关推荐
小江的记录本7 小时前
【事务】Spring Framework核心——事务管理:ACID特性、隔离级别、传播行为、@Transactional底层原理、失效场景
java·数据库·分布式·后端·sql·spring·面试
半桶水专家11 小时前
Kafka 性能瓶颈 → JMX 指标对照表
分布式·kafka
殷紫川12 小时前
别再乱用了!幂等处理与分布式锁,90% 开发者都踩过的坑与正确落地姿势
分布式·架构
Jack_David16 小时前
Kafka批量消息发送
java·分布式·kafka
wanhengidc17 小时前
服务器托管对企业的作用
大数据·运维·服务器·分布式·智能手机
Code知行合壹17 小时前
Spark使用总结
大数据·分布式·spark
Swift社区17 小时前
分布式能力不是功能,而是一种架构约束
分布式·架构
0xDevNull17 小时前
Apache Kafka 完全指南
分布式·kafka
zb2006412018 小时前
RabbitMQ 客户端 连接、发送、接收处理消息
分布式·rabbitmq·ruby