hadoop的api操作对象存储

一、获取文件或目录

1. 获取某个目录下的文件

Scala 复制代码
// 必须的依赖
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, LocatedFileStatus, Path, RemoteIterator}


// 获取某个目录下的文件路径
def list_file(conf: Configuration, dir_path: String, is_recursive: Boolean = false): Array[String] = {
    // 获取文件系统
    val fs = FileSystem.get(new java.net.URI(dir_path), conf) // 注意这里用 URI 让 Hadoop 根据 scheme 找对应 FS

    // 递归获取该目录下所有文件
    val it: RemoteIterator[LocatedFileStatus] = fs.listFiles(new Path(dir_path), is_recursive)

    // 获取文件路径
    val buffer = scala.collection.mutable.ArrayBuffer[String]()
    while (it.hasNext) {
        val fileStatus = it.next()
        buffer += fileStatus.getPath.toString
    }

    // 关闭文件系统
    fs.close()

    // 返回结果
    buffer.toArray
}


// 设定配置文件
val conf = new Configuration()
conf.set("fs.oss.impl", "org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem") // 读取oss的路径


// 需要指定的路径
val path = "oss://aa/bb/"
val file_paths = list_file(conf, path).filter(x => x.contains("parquet"))
file_paths.foreach(println)

2. 获取某个目录下的子目录

Scala 复制代码
import org.apache.hadoop.fs.{FileStatus, FileSystem, FileUtil, Path}
 
 
 
/**
* 获取某个目录下所有子目录的路径, 以字符串数组的形式返回
*/
def getOnlineFirstDir: Array[String] = {
	// 获取路径
	val path = s"s3://aa/bb/"
	val filePath = new org.apache.hadoop.fs.Path( path )
 
	// 获取文件系统
	val fileSystem = filePath.getFileSystem( spark.sparkContext.hadoopConfiguration )
 
	// 获取所有子目录的路径
	val allFiles = FileUtil.stat2Paths( fileSystem.listStatus( filePath ) )
	val res = allFiles.filter( fileSystem.getFileStatus( _ ).isDirectory() ).map( _.toString)
 
	// 返回结果
	res
}

二、删除文件或目录

Scala 复制代码
/**
 * 删除目录
 */
def deletePath(spark: SparkSession, path: String): Unit = {
	// 1 获取文件系统
	val file_path = new org.apache.hadoop.fs.Path( path )
	val file_system = file_path.getFileSystem( spark.sparkContext.hadoopConfiguration )
 
	// 2 判断路径存在时, 则删除
	if (file_system.exists( file_path )) {
		file_system.delete( file_path, true )
	}
}

三、获取文件或目录大小

Scala 复制代码
/**
 * 获取某个目录的大小(单位b字节),注意:只能在driver端使用,可以多线程来提速。
 */
def get_path_size(spark: SparkSession, path: String): Long = {
    //取文件系统
    val filePath = new org.apache.hadoop.fs.Path( path )
    val fileSystem = filePath.getFileSystem( spark.sparkContext.hadoopConfiguration )

    // 获取该目录的大小,单位是字节
    if (fileSystem.exists( filePath )) {
    fileSystem.getContentSummary( filePath ).getLength
    } else {
    0
    }
}

四、判读文件或目录是否存在

Scala 复制代码
方式一
/**
 * 判断目录是否存在,注意:只能在driver端使用,可以多线程来提速。问题: 对删除过的目录可能会误判
 */
def pathIsExist(spark: SparkSession, path: String): Boolean = {
  //取文件系统
  val filePath = new org.apache.hadoop.fs.Path( path )
  val fileSystem = filePath.getFileSystem( spark.sparkContext.hadoopConfiguration )
 
  // 判断路径是否存在
  fileSystem.exists( filePath )
}
 
 
方式二
/**
 * 通过目录是否大于0来判断目录是否存在(消除对删除过的目录的误判),注意:只能在driver端使用,可以多线程来提速。
 */
def def pathIsExist(spark: SparkSession, path: String): Boolean = 
	//取文件系统
	val filePath = new org.apache.hadoop.fs.Path( path )
	val fileSystem = filePath.getFileSystem( spark.sparkContext.hadoopConfiguration )
 
	// 获取该目录的大小,单位是字节
	val size = if (fileSystem.exists( filePath )) {
		fileSystem.getContentSummary( filePath ).getLength
	} else {
		0
	}
 
    // 返回结果
    size > 0
 
}

五、parquet文的行组信息

Scala 复制代码
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, LocatedFileStatus, Path, RemoteIterator}
import org.apache.parquet.column.statistics.Statistics
import org.apache.parquet.hadoop.ParquetFileReader
import org.apache.parquet.hadoop.metadata.{BlockMetaData, ParquetMetadata}
import org.apache.parquet.hadoop.util.HadoopInputFile
import org.apache.parquet.io.api.Binary

import java.{lang, util}


// 获取某个目录下的文件路径
def list_file(conf: Configuration, dir_path: String, is_recursive: Boolean = false): Array[String] = {
    // 获取文件系统
    val fs = FileSystem.get(new java.net.URI(dir_path), conf) // 注意这里用 URI 让 Hadoop 根据 scheme 找对应 FS

    // 递归获取该目录下所有文件
    val it: RemoteIterator[LocatedFileStatus] = fs.listFiles(new Path(dir_path), is_recursive)

    // 获取文件路径
    val buffer = scala.collection.mutable.ArrayBuffer[String]()
    while (it.hasNext) {
        val fileStatus = it.next()
        buffer += fileStatus.getPath.toString
    }

    // 关闭文件系统
    fs.close()

    // 返回结果
    buffer.toArray
}


// 某个文件某列的行组信息
def print_row_groupp(conf: Configuration, file_name: String, col_name: String): Unit = {

    // 读取元数据
    val parquetFilePath = new Path(file_name)
    val inputFile: HadoopInputFile = HadoopInputFile.fromPath(parquetFilePath, conf)
    val footer: ParquetMetadata = ParquetFileReader.open(inputFile).getFooter

    // 遍历每个行组,并手动添加索引
    val blocks: util.List[BlockMetaData] = footer.getBlocks

    for (i <- 0 until blocks.size()) {
        val block = blocks.get(i)
        println(s"Row Group #${i}:")
        println(s"  - Total Rows: ${block.getRowCount}")
        println(s"  - Total Size: ${block.getTotalByteSize} bytes")

        // 遍历每个列块
        block.getColumns.forEach { columnChunkMetaData =>
            val columnPath = columnChunkMetaData.getPath.toDotString

            // 过滤目标列
            if (columnPath == col_name) {
                val statistics: Statistics[_] = columnChunkMetaData.getStatistics

                println(s"  Column: $columnPath")
                if (statistics != null) {
                    // 获取最小值和最大值并解码
                    val minValue = statistics.genericGetMin match {
                        case b: Binary => b.toStringUsingUTF8
                        case l: lang.Long => l.toString
                        case i: Integer => i.toString
                        case other => other.toString
                    }

                    val maxValue = statistics.genericGetMax match {
                        case b: Binary => b.toStringUsingUTF8
                        case l: lang.Long => l.toString
                        case i: Integer => i.toString
                        case other => other.toString
                    }

                    println(s"    - Min Value: $minValue")
                    println(s"    - Max Value: $maxValue")
                    println(s"    - Null Count: ${statistics.getNumNulls}")
                } else {
                    println("    - No statistics available for this column.")
                }
                println("    ------")
            }
        }
        println("======================")
    }

}

// 某个文件的行组数
def get_row_group_size(conf: Configuration, file_name: String): Int = {
    // 读取元数据
    val parquetFilePath = new Path(file_name)
    val inputFile: HadoopInputFile = HadoopInputFile.fromPath(parquetFilePath, conf)
    val footer: ParquetMetadata = ParquetFileReader.open(inputFile).getFooter

    // 行组数
    footer.getBlocks.size()
}


// 设定配置文件
val conf = new Configuration()
conf.set("fs.oss.impl", "org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem")


// 需要指定的路径
val path = "oss://aa/bb/"
val file_paths = list_file(conf, path).filter(x => x.contains("parquet"))
file_paths.foreach(println)


// 获取第一个文件的行组信息
val first_file = file_paths(0)
print_row_groupp(conf, first_file, "odid")


// 统计行组数
for (file_path <- file_paths) {
    val file_index = file_path.split("part-")(1).split("-")(0)
    println(file_index + " = " + get_row_group_size(conf, file_path))
}
相关推荐
秃头菜狗7 小时前
十三、格式化 HDFS 文件系统、启动伪分布式集群
大数据·hadoop·hdfs
geilip8 小时前
知识体系_scala_利用scala和spark构建数据应用
开发语言·spark·scala
孟意昶8 小时前
Spark专题-第三部分:性能监控与实战优化(3)-数据倾斜优化
大数据·分布式·sql·spark
Lansonli8 小时前
大数据Spark(六十六):Transformation转换算子sample、sortBy和sortByKey
大数据·分布式·spark
IT毕设梦工厂1 天前
大数据毕业设计选题推荐-基于大数据的人口普查收入数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
计算机源码社1 天前
基于Hadoop的车辆二氧化碳排放量分析与可视化系统|基于Spark的车辆排放量实时监控与预测系统|基于数据挖掘的汽车排放源识别与减排策略系统
大数据·hadoop·机器学习·数据挖掘·spark·毕业设计·课程设计
励志成为糕手2 天前
Spark Shuffle:分布式计算的数据重分布艺术
大数据·分布式·spark·性能调优·数据倾斜
DashingGuy2 天前
Spark的Broadcast Join以及其它的Join策略
大数据·spark
计算机编程小央姐2 天前
大数据工程师认证项目:汽车之家数据分析系统,Hadoop分布式存储+Spark计算引擎
大数据·hadoop·分布式·数据分析·spark·汽车·课程设计
计算机毕设残哥3 天前
基于Hadoop+Spark的人体体能数据分析与可视化系统开源实现
大数据·hadoop·python·scrapy·数据分析·spark·dash