reset Offset 与connection reset by peer

问题1 reset Offset

某次生产线上,从KafkaManager监控页面,发现还剩几十万未消费数据量,过了几分钟之后,监控页面发现未消费数据量达到了几千万。

排查分析

定位生产日志,发现消费端 出现日志 reset offset, 结合上下文日志,发现在切换broker leader之后,提交的偏移量在新leader上面找不到,之后根据消费端配置的auto offset reset 由于我们配置的是earliest,所以从最早消费

问题原因

切换时候,broker是接入某云的kafka,当时后台发生OOM,造成broker切换,由于ack设置,导致新切换的broker 没有提交的偏移量,从而导致整个现象发生


问题2 connection reset by peer

某次请求某服务,偶然频繁出现请求错误,但刷新错误之后,又可以重新打开请求链接

排查分析

根据traceId,定位到服务链调用,网关服务出现connection reset by peer,说明调用我们的业务微服务出现问题, 日志上下文 观察调用IP有多个,可实际情况后台docker 的pod数量为1

问题原因

由于eureka段配置不合理,导致未将失效的服务实例杀死,通过eureka注册中心可以管道有一个未清除的实例,从而导致该现象产生。
解决措施:先手动下线微服务实例,后修改配置

相关推荐
认真的酒窝1 小时前
自己动手开发编译器(十一)语义分析
java·开发语言
wbs_scy3 小时前
Linux C++ 高并发编程:线程池全链路深度解析,从原理到手撕实现
java·开发语言
JAVA面经实录9173 小时前
Linux 常用命令完整知识体系
java·linux·开发语言·汇编
Full Stack Developme4 小时前
Java LRU 与 LFU 算法及应用
java·开发语言·算法
程序员老油条6 小时前
WSL2 + Docker Desktop:Windows 下的完美 Java 开发环境
java·windows·docker·wsl2
shushangyun_7 小时前
2026智能采购商城系统选型指南:如何引领企业数字化采购升级
java·大数据·数据库·人工智能·机器学习
她说..7 小时前
Java 默认值设置方式
java·开发语言·后端·springboot
学渣超8 小时前
记一次分布式事务数据不一致的排查之旅:从超时到索引,层层剥茧
java·后端·架构
掉鱼的猫8 小时前
Agent Harness 实战指南:构建生产级 AI Agent 的"马具"框架
java·llm·aigc
带刺的坐椅8 小时前
Agent Harness 实战指南:构建生产级 AI Agent 的"马具"框架
java·ai·llm·agent·solon-ai