Hadoop 源码中使用ServiceLoader

java.util.ServiceLoader使用

今天在看hadoop源代的时候发现,在FileSystem中用到了java.util.ServiceLoader这个类来从配置文件中加载子类或者接口的实现类。以前从来没有使用过这个类,进去大概看了一下具体的实现。主要是从META-INF/services这个目录下的配置文件加载给定接口或者基类的实现,ServiceLoader会根据给定的类的full name来在META-INF/services下面找对应的文件,在这个文件中定义了所有这个类的子类或者接口的实现类,返回一个实例。

下面以一个具体的例子来说明一下ServiceLoader的具体使用,类似Hadoop FileSystem中的实现。

首先定义一个接口,具体如下:

java\] view plain copy public interface IService { public String sayHello(); public String getScheme(); } 该接口有两个子类,分别为HDFSService和LocalService: \[java\] view plain copy public class HDFSService implements IService { @Override public String sayHello() { return "Hello HDFS!!"; } @Override public String getScheme() { return "hdfs"; } } \[java\] view plain copy public class LocalService implements IService { @Override public String sayHello() { return "Hello Local!!"; } @Override public String getScheme() { return "local"; } } 需要在META-INF/services下以IService这个类的全名来新建立一个文件,文件中的内容为两个实现类的全名,如下: \[java\] view plain copy org.hadoop.java.HDFSService org.hadoop.java.LocalService 所有的实现和配置都已经完成,下面写一个测试类来看一下结果: \[java\] view plain copy public class ServiceLoaderTest { /** * @param args */ public static void main(String[] args) { //need to define related class full name in /META-INF/services/.... ServiceLoader serviceLoader = ServiceLoader .load(IService.class); for (IService service : serviceLoader) { System.out.println(service.getScheme()+"="+service.sayHello()); } } } 具体的输出来如下: \[plain\] view plain copy hdfs=Hello HDFS!! local=Hello Local!! 可以看到ServiceLoader可以根据IService把定义的两个实现类找出来,返回一个ServiceLoader的实现,而ServiceLoader实现了Iterable接口,所以可以通过ServiceLoader来遍历所有在配置文件中定义的类的实例。Hadoop FileSystem就是通过这个机制来根据不同文件的scheme来返回不同的FileSystem。 FileSystem中的相关实例如下: \[java\] view plain copy private static void loadFileSystems() { synchronized (FileSystem.class) { if (!FILE_SYSTEMS_LOADED) { ServiceLoader serviceLoader = ServiceLoader.load(FileSystem.class); for (FileSystem fs : serviceLoader) { SERVICE_FILE_SYSTEMS.put(fs.getScheme(), fs.getClass()); } FILE_SYSTEMS_LOADED = true; } } } FileSystem对应的配置如下: \[java\] view plain copy org.apache.hadoop.fs.LocalFileSystem org.apache.hadoop.fs.viewfs.ViewFileSystem org.apache.hadoop.fs.s3.S3FileSystem org.apache.hadoop.fs.s3native.NativeS3FileSystem org.apache.hadoop.fs.kfs.KosmosFileSystem org.apache.hadoop.fs.ftp.FTPFileSystem org.apache.hadoop.fs.HarFileSystem 通过之前的测试类输出对应的scheme和class如下: \[plain\] view plain copy file=class org.apache.hadoop.fs.LocalFileSystem viewfs=class org.apache.hadoop.fs.viewfs.ViewFileSystem s3=class org.apache.hadoop.fs.s3.S3FileSystem s3n=class org.apache.hadoop.fs.s3native.NativeS3FileSystem kfs=class org.apache.hadoop.fs.kfs.KosmosFileSystem ftp=class org.apache.hadoop.fs.ftp.FTPFileSystem har=class org.apache.hadoop.fs.HarFileSystem hdfs=class org.apache.hadoop.hdfs.DistributedFileSystem hftp=class org.apache.hadoop.hdfs.HftpFileSystem hsftp=class org.apache.hadoop.hdfs.HsftpFileSystem webhdfs=class org.apache.hadoop.hdfs.web.WebHdfsFileSystem 可以看到FileSystem会把所有的FileSystem的实现都以scheme和class来cache,之后就从这个cache中取相应的值。 因此,以后可以通过ServiceLoader来实现一些类似的功能。而不用依赖像Spring这样的第三方框架。

相关推荐
宋小黑1 分钟前
JDK 6到25 全版本网盘合集 (Windows + Mac + Linux)
java·后端
7哥♡ۣۖᝰꫛꫀꪝۣℋ13 分钟前
Spring-cloud\Eureka
java·spring·微服务·eureka
初恋叫萱萱22 分钟前
模型瘦身实战:用 `cann-model-compression-toolkit` 实现高效 INT8 量化
大数据
老毛肚26 分钟前
手写mybatis
java·数据库·mybatis
两点王爷28 分钟前
Java基础面试题——【Java语言特性】
java·开发语言
choke23332 分钟前
[特殊字符] Python 文件与路径操作
java·前端·javascript
choke23337 分钟前
Python 基础语法精讲:数据类型、运算符与输入输出
java·linux·服务器
袁煦丞 cpolar内网穿透实验室40 分钟前
远程调试内网 Kafka 不再求运维!cpolar 内网穿透实验室第 791 个成功挑战
运维·分布式·kafka·远程工作·内网穿透·cpolar
岁岁种桃花儿1 小时前
CentOS7 彻底卸载所有JDK/JRE + 重新安装JDK8(实操完整版,解决kafka/jps报错)
java·开发语言·kafka
人间打气筒(Ada)1 小时前
GlusterFS实现KVM高可用及热迁移
分布式·虚拟化·kvm·高可用·glusterfs·热迁移