技术栈
spark小文件
000X000
6 个月前
大数据
·
分布式
·
spark
·
spark小文件
解决Spark流处理产生的小文件问题
做流批一体，湖仓一体的大数据架构，常见的做法就是：数据源->spark Streaming->ODS（数据湖）->spark streaming->DWD（数据湖）->...