【java】java通过s3访问ceph报错

1.报错信息、背景

工作中起了几个访问ceph的服务pod节点,一段时间后1个节点一直报错Unable to execute HTTP request: Timeout waiting for connection from pool,详细i信息如下图片,有且仅有1个节点报错,其他节点访问正常。看日志内容为链接池满了,初步怀疑是ceph服务端的连接池满了,但是为什么只有1个pod节点报错,其他节点报错??
后续通过查阅s3官网,了解到这个连接池为客户端自己维护的http连接池

2. 解决

2.1. 通过查询s3官网文档

https://docs.aws.amazon.com/zh_cn/sdk-for-java/latest/developer-guide/home.html --中文
https://docs.aws.amazon.com/sdk-for-java/latest/developer-guide/home.html --英文

  1. 第一个图片说明访问ceph是有连接池资源的
  2. 第二个图片说明ceph默认使用的http是apache httpclient,并且连接池指的是本地http连接池,并不是ceph服务端的连接池数量。

2.2. 修改httpclient连接池,验证问题

  1. 通过查看源码,默认连接池设置的是50个,可以修改为1个,方便测试复现问题。software.amazon.awssdk.http.SdkHttpConfigurationOption

  2. 用jmeter多线程测试下载工程,马上会复现同样的报错。
  3. 参考官网,发现是代码中下载附件后未释放流,所以出现连接池占慢的情况,后续加上close方法,则解决。

相关推荐
朦胧之7 小时前
AI 编程-老项目改造篇
java·前端·后端
程序猿大帅11 小时前
别再只当调包侠了:用 Spring AI 落地 Function Calling,我被大模型硬生生砸出了三个大坑
java
程序员晓琪12 小时前
约定大于配置:基于 Java 包名自动生成 API 版本路由的最佳实践
java·spring boot·后端
Flittly12 小时前
【AgentScope Java新手村系列】(11)中断与恢复
java·spring boot·spring
众少成多积小致巨13 小时前
JNI (Java Native Interface) 技术手册中文参考指南
android·java·c++
东坡白菜13 小时前
破局全栈:前端开发的Java入门实战记录—JPA(2)
java·后端
SimonKing19 小时前
艹,维护AI写的代码,我心态崩了......
java·后端·程序员
用户2986985301419 小时前
Java Word 文档样式进阶:段落与文本背景色设置完全指南
java·后端
小bo波1 天前
从"任意文件复制"深挖Java I/O:字符流与字节流的本质抉择
java·nio·io流·后端开发·文件复制
nanxun8862 天前
记一次诡异的 Docker 容器"串包"故障排查
java