技术栈
#hdfs小文件合并
bmyyyyyy
1 年前
大数据
·
hdfs
·
spark
·
#hdfs小文件合并
【Spark-HDFS小文件合并】使用 Spark 实现 HDFS 小文件合并
需求描述:1、使用 Spark 做小文件合并压缩处理。2、实际生产中相关配置、日志、明细可以记录在 Mysql 中。