技术栈
spark3
涤生大数据
4 小时前
数据库
·
数据仓库
·
spark
·
mapreduce
·
大数据开发
·
数据倾斜
·
spark3
从MR迁移到Spark3：数据倾斜与膨胀问题的实战优化
最近在进行大规模数据任务从MapReduce向Spark3迁移的工作，遇到了一个典型的数据倾斜案例。本文将分享这个案例的具体情况、问题分析思路以及最终的解决方案，为类似场景的优化提供参考。
我是有底线的