reset Offset 与connection reset by peer

问题1 reset Offset

某次生产线上,从KafkaManager监控页面,发现还剩几十万未消费数据量,过了几分钟之后,监控页面发现未消费数据量达到了几千万。

排查分析

定位生产日志,发现消费端 出现日志 reset offset, 结合上下文日志,发现在切换broker leader之后,提交的偏移量在新leader上面找不到,之后根据消费端配置的auto offset reset 由于我们配置的是earliest,所以从最早消费

问题原因

切换时候,broker是接入某云的kafka,当时后台发生OOM,造成broker切换,由于ack设置,导致新切换的broker 没有提交的偏移量,从而导致整个现象发生


问题2 connection reset by peer

某次请求某服务,偶然频繁出现请求错误,但刷新错误之后,又可以重新打开请求链接

排查分析

根据traceId,定位到服务链调用,网关服务出现connection reset by peer,说明调用我们的业务微服务出现问题, 日志上下文 观察调用IP有多个,可实际情况后台docker 的pod数量为1

问题原因

由于eureka段配置不合理,导致未将失效的服务实例杀死,通过eureka注册中心可以管道有一个未清除的实例,从而导致该现象产生。
解决措施:先手动下线微服务实例,后修改配置

相关推荐
API快乐传递者1 小时前
1688 跨境电商 API 接口实战指南:从寻源到代采的全链路技术方案
java·前端·数据库
孔明click331 小时前
不想写代码,但想要集成一个登录页面?Sa-Token-Quick-Login 帮你实现!
java·sa-token·开源·springboot·登录·权限·权限认证
曹牧1 小时前
C#与Java后台交互
java·windows·microsoft·c#
张晓祥-长草颜团子1 小时前
【重庆两江新区歌词】
java
东小西1 小时前
【SAA实战】第 2 篇:模型与消息——ReactAgent 怎么挑模型、怎么传消息
java·后端·spring
码匠许师傅1 小时前
【C++ 面试真题】35. 聊聊 C++ 的万能引用(T&&)和完美转发(std::forward)
java·c++·面试
十年Java程序媛1 小时前
注解已经加上,但是事务没有回滚?拆解 AOP 代理底层原因 + 代码示例
java
μθημα1 小时前
K8s Pod 管理实战:虚拟机环境下的具体命令与步骤
java·docker·kubernetes
数据狐(Datafox)2 小时前
1688.item_search工程实战:1688商品列表API分页采集与B2B货源数据分析落地
java·前端·数据分析
省长2 小时前
不想写代码,但想要集成一个登录页面?Sa-Token-Quick-Login 帮你实现!
java·后端·开源