【问题排查】hadoop-shaded-guava依赖问题

hadoop-shaded-guava依赖问题

报错信息如下：

java.lang.NoClassDefFoundError: org/apache/hadoop/thirdpart/com/goole/common/base/Preconditions
at org.apache.hadoop.fs.aliyun.oss.AliyunOssUtils.loginOPtion(AliyunOssUtils.java 221)

从日志可以看出是因为缺失某个依赖导致。

我先说说我的排查方向，比较笨重

1. 通过IDEA全局搜索这个类，发现没有这个类
2. 最开始看到这个报错以为是guava包冲突了，就在pom.xml文件里面排除guava包，打包后发现还是不行，妥协了根据报错信息慢慢找
3. 从报错的代码位置进行排查（发现AliyunOssUtils类import了org/apache/hadoop/thirdpart/com/goole/common/base/Preconditions这个类），

因为代码逻辑是利用spark读取S3文件用到了hadoop-aliyun的依赖，而adoop-aliyun依赖在AliyunOssUtils类中import了org/apache/hadoop/thirdpart/com/goole/common/base/Preconditions类，hadoop原生的依赖包并不会提供该依赖的支持所以在spark-submit时报错。知道问题就比较好解决了。

如果不了解 hadoop-shaded-guava 这个jar，可以去maven仓库下载，具体地址：https://mvnrepository.com/

搜索hadoop-shaded-guava

选择具体版本即可

找到对应版本引入导pom.xml文件即可。

<dependency>
    <groupId>org.apache.hadoop.thirdparty</groupId>
    <artifactId>hadoop-shaded-guava</artifactId>
    <version>1.3.0</version>
</dependency>