spark写数据库用连接池找不到driver类

最近遇到一个很离谱的bug,在写spark代码把数据写到mysql的时候考虑到连接的开销,所以用了HikariCP连接池,但是无语的是程序执行死活加载不到mysql的Driver类,但是解压了jar看到mysql-conn包就在lib下面,版本也是5.x的没问题,还尝试了--jars,也没解决,倒腾了各种方式,网上也查到确实有人复现这个问题---》百度EMR spark

最终灵光一闪,想到写原生Java的jdbc需要手动class-load一下,所以就在想也给连接池手动load一下是否可行,最终测试发现会类冲突。到此想到难道连接池和spark调用jdbc的类加载逻辑不一样?就想到一个妖点子,把mysql-driver包放在了spark的jars资源路径里面,当作引擎的class资源,果然运行之后问题就解决了。

相关推荐
暖苏25 分钟前
python-异常(笔记)
大数据·开发语言·笔记·python·异常
凯禾瑞华CGA老年综合评估36 分钟前
借助CGA匹兹堡睡眠质量指数量表评估
数据库·cga老年综合评估系统·匹兹堡睡眠质量指数量表
青云交1 小时前
吃透 B + 树:MySQL 索引的底层逻辑与避坑指南
数据库·mysql 索引·技术栈深潜计划·b + 树实现·innodb 优化·索引失效案例·python 模拟 b + 树
盖世英雄酱581361 小时前
事务报错,为何数据还是插入成功了❓
java·数据库·后端
钢铁男儿2 小时前
C# 枚举器和迭代器(常见迭代器模式)
数据库·c#·迭代器模式
哥哥还在IT中2 小时前
脚本统计MongoDB集合表数据量
数据库·mongodb
爱敲代码的TOM3 小时前
手撕Redis源码1-数据结构实现
数据库·redis·缓存
孫治AllenSun3 小时前
【Mysql】联合索引生效分析案例
java·数据库·mysql
蓝黑20203 小时前
MySQL的case
数据库·mysql
书唐瑞3 小时前
Percona pt-archiver 出现数据不对等
java·服务器·数据库