kafka-保姆级配置说明(consumer)

bootstrap.servers=

#deserializer应该与producer保持对应

#key.deserializer=

#value.deserializer=

##fetch请求返回时,至少获取的字节数,默认值为1

##当数据量不足时,客户端请求将会阻塞

##此值越大,客户端请求阻塞的时间越长,这取决于producer生产效率和网络传输能力

fetch.min.bytes=1

##如果broker端反馈的数据量不足时(fetch.min.bytes),fetch请求等待的最长时间

##如果数据量满足需要,则立即返回。

fetch.max.wait.ms=500

##标识consumer所属的group

##此属性非常重要,类似于JMS订阅者的clientId

##同一个group中的consumer互为排他、且可以负载均衡。

##即订阅topic的同一个group中,任何一个partition只能被一个consumer消费

group.id=

##consumer协调器与kafka集群之间,心跳检测的时间间隔

##kafka集群通过心跳判断consumer会话的活性,以判断consumer是否在线,如果离线则会把

##此consumer注册的partition分配(assign)给相同group的其他consumer。

##此值必须小于"session.timeout.ms",即会话过期时间应该比心跳检测间隔要大,通常为session.timeout.ms的三分之一,否则心跳检测就失去意义。

heartbeat.interval.ms=3000

##单次fetch请求中,server为每个partition返回的消息最大尺寸,默认为:1M

##因此每次fetch请求的最大数据量推算为:partitions * max.partition.fetch.bytes

max.partition.fetch.bytes=1048576

##consumer会话超时时长,如果在此时间内,server尚未接收到consumer任何请求(包括心跳检测),那么

##server将会判定此consumer离线。

##此值越大,server等待consumer失效、rebalance时间就越长。

session.timeout.ms=30000

##当consumer指定的offset在kafka中不存在时(比如首次消费、或者相应的offset log数据已经删除),

##earliest:重置为kafka持有的最早的offset值(即从kafka现存的最早的消息开始消费)

##latest:重置为kafka持有的最新的offset值(即从最新的消息开始消费)

##none:如果broker不存在指定的offset的数据,则直接抛出异常

auto.offset.reset=latest

##是否开启自动提交(offset)

##如果开启,consumer已经消费的offset信息将会间歇性的提交到kafka中(持久保存)

enable.auto.commit=true

##当开启offset自动提交时,提交请求的时间频率

auto.commit.interval.ms=5000

##broker使用何种策略,分配partition给consumer;(或许class应该放在broker端的classpath中)

#partition.assignment.strategy=

##单次请求超时时间(比如poll、offset提交、心跳等请求)

##在超时之间,无响应的请求则会重试,直到超时或者重试次数达到阀值

request.timeout.ms=40000

##请求失败后,重试之前backoff的时间

retry.backoff.ms=100

##通常情况下,当consumer创建时将会获取kafka broker的metadata信息,

##当consumer消费时遇到特殊异常(比如leader迁移、broker拓扑结构变迁),也将会同步刷新metadata信息。

##此配置用于限制:即使没有检测到broker端metadata信息的变更,也将强制进行metadata同步的时间周期。

metadata.max.age.ms=300000

相关推荐
宸津-代码粉碎机3 小时前
OpenAI 连夜迎战 Grok Bot 和 Muse:AI 智能体从 “会聊天” 到 “能办事”,现在入场还来得及吗
java·大数据·人工智能·分布式·python
程序猿乐锅4 小时前
【黑马点评 | 第八篇】Redisson分布式锁
java·数据库·spring boot·redis·分布式·spring·缓存
灯澜忆梦5 小时前
【RabbitMQ #7】 | 消息转换器
分布式·rabbitmq·ruby
需要8266 小时前
分布式事务:Seata AT/TCC/SAGA 的取舍与踩坑
java·spring boot·分布式·spring·spring cloud
CS创新实验室9 小时前
为什么三台机器就能选出一个“带头大哥“?——Raft 一致性算法,一次讲透
分布式·操作系统
本人手速666+10 小时前
企微开发API如何设计客户冻结状态?WeComApi 在删除、投诉和异常客户场景中的自动化边界
运维·分布式·自动化·企业微信·企微外部群开发·wecomapi·企业微信二次开发
灯澜忆梦12 小时前
【RabbitMQ #4】 | Work 任务模型
分布式·rabbitmq
程序猿乐锅12 小时前
【黑马点评 | 第七篇】Redis 分布式锁的两种实现
java·数据库·redis·分布式·spring·缓存
千里码aicood13 小时前
基于Hadoop的机票价格波动分析系统的设计与实现
大数据·hadoop·分布式
今年下半年18 小时前
记录一次IBMS物联网项目的架构设计及技术栈应用
物联网·websocket·网络协议·tcp/ip·微服务·udp·kafka