spark小文件

000X0001 年前
大数据·分布式·spark·spark小文件
解决Spark流处理产生的小文件问题做流批一体，湖仓一体的大数据架构，常见的做法就是：数据源->spark Streaming->ODS（数据湖）->spark streaming->DWD（数据湖）->...