【HDFS】与单测编写相关的一些工具类及方法(大纲篇)持续更新

集群创建启动

MiniDFSCluster

可以用这个类创建一个单进程的DFS集群用来进行单元测试。

一般是采用MiniDFSCluster$Builder去建造出一个MiniDFSCluster对象。builder可以指定很多参数

MiniRouterDFSCluster

用来模拟一个有多台Router的HDFS联邦集群。

写一个测试文件

副本文件

EC文件

GenericTestUtils

等待某个条件为true。

【HDFS】GenericTestUtils#waitFor的使用

相关推荐
在未来等你1 分钟前
Elasticsearch面试精讲 Day 27:备份恢复与灾难恢复
大数据·分布式·elasticsearch·搜索引擎·面试
涛思数据(TDengine)26 分钟前
TDengine TSDB 3.3.8.0 上线:SMA、TLS、TDgpt、taosX、taosgen 一次全进化
大数据·数据库·时序数据库·tdengine
研究司马懿36 分钟前
【GitOps】Argo CD app of apps
大数据·开发语言·elasticsearch·搜索引擎·云原生·argocd·gitops
qqxhb1 小时前
系统架构设计师备考第49天——数字孪生体&云计算&大数据技术
大数据·系统架构·云计算·saas·paas·iaas·数字孪生体
盖雅工场1 小时前
企业用工成本高、留人难?零工管家以数字化管理实现精准控本与人才留存
大数据
hans汉斯2 小时前
【计算机科学与应用】基于多光谱成像与边缘计算的物流安全风险预警模式及系统实现
大数据·数据库·人工智能·设计模式·机器人·边缘计算·论文笔记
皮皮学姐分享-ppx2 小时前
上市公司CEO IT背景数据(2007-2024)
大数据·人工智能·经验分享·科技·区块链
呆呆小金人3 小时前
SQL入门:别名使用完全指南
大数据·数据库·数据仓库·sql·数据库开发·etl·etl工程师
隔壁寝室老吴3 小时前
Flink中自定义序列化器
大数据·flink
菜鸡儿齐9 小时前
spark组件-spark core(批处理)-rdd创建
大数据·分布式·spark