kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
oMcLin10 小时前
如何在Debian 11上通过配置MySQL 8.0的分布式架构,提升跨区域数据同步的效率与延迟?
分布式·mysql·debian
一条咸鱼_SaltyFish11 小时前
[Day15] 若依框架二次开发改造记录:定制化之旅 contract-security-ruoyi
java·大数据·经验分享·分布式·微服务·架构·ai编程
IT 行者13 小时前
Spring Security 7 OAuth2 授权码分布式存储之Redis存储方案
redis·分布式·spring
潇凝子潇13 小时前
kafka之监控告警
分布式·kafka
Light6014 小时前
从“报告”到“能力”——构建智能化、可审计的数据治理闭环——领码 SPARK 数据质量平台白皮书
大数据·分布式·spark
maozexijr14 小时前
RabbitMQ Exchange Headers类型存在的意义?
分布式·rabbitmq
还在忙碌的吴小二14 小时前
XXL-SSO 分布式单点登录框架
分布式
独自破碎E14 小时前
RabbitMQ的消息确认机制是怎么工作的?
分布式·rabbitmq
潇凝子潇15 小时前
Kafka 实现集群安全认证与加密机制
分布式·安全·kafka
indexsunny16 小时前
互联网大厂Java求职面试实战:微服务与Spring Boot在电商场景中的应用
java·数据库·spring boot·微服务·kafka·hibernate·电商