【大数据学习 | 面经】Spark3.x对比2.x有哪些优点

1. 性能优化

1.1 自适应查询执行(AQE)

Spark3.x引用了AQE功能,它可以在运行时动态调整查询计划,包括合并小文件,优化join策略等。

1.2 动态分区裁剪

改进了SQL查询中的分区裁剪能力,允许在运行时根据过滤条件更精确的确定需要读取的分区,从而减少不必要的IO操作。

1.3 广播连接优化

增强了广播连接功能,使得广播表的选择更加智能,减少不必要的广播操作,并且可以更好的处理大表与小表之间的连接。

1.4 shuffle处理的优化

改进了shuffle操作的效率,例如通过减少磁盘IO和网络传输加速数据交换过程。

1.5 SQL性能提升

对TPC-DS基准测试中的一些查询性能有显著提升,部分查询的速度提高了2倍到18倍。

2. 易用性和API改进

2.1 统一编程模型

提供了更为统一的编程接口,简化了DataFrame和Dataset API的使用,同时更强了Structured Streaming的功能。

相关推荐
龙仔72520 分钟前
离线安装rabbitmq全流程
分布式·rabbitmq·ruby
苏小夕夕3 小时前
spark-streaming(二)
大数据·spark·kafka
宅小海5 小时前
spark和Hadoop的区别和联系
大数据·hadoop·spark
shichaog6 小时前
语音合成之一TTS技术发展史综述
spark·语音合成·tts·端到端
桑榆08066 小时前
Spark-Streaming核心编程
大数据·分布式·spark
啊喜拔牙7 小时前
spark和hadoop的区别与联系
大数据·hadoop·spark
星辰瑞云7 小时前
spark—SQL3
spark
桑榆08068 小时前
Spark-SQL核心编程
spark
快乐点吧8 小时前
【MongoDB + Spark】 技术问题汇总与解决方案笔记
笔记·mongodb·spark
企鹅不耐热.12 小时前
Spark-Streaming核心编程
大数据·分布式·spark