本文分享自天翼云开发者社区《离线数仓优化简述》，作者：徐****东
1、业务层面
计算量太大是不是必须的，是否可以减少参与计算的用户量或者时间跨度；
计算逻辑是否过于复杂，是否可以简化。
2、模型层面
是否有现成的数据可以使用或者基于现成的数据进行加工；
是否可以将整个计算逻辑进行合理拆分，降低每个子任务的复杂度，同时提高复用的可能性；
维度退化，空间和时间的权衡。
3、系统层面（遵循一些计算引擎建议的使用规则和参数设置）
使用Spark3引擎，自动合并小文件；
输入文件的存储格式、压缩格式、大小；
输出文件的大小；
启用压缩；
分区、分桶；
拉链表；
yarn队列的设置；
合适的计算引擎；
task的内存设置；
task处理的数据量；
task的数量；
并行度优化；
调整参数减少Map数量；
调整参数减少reduce数量。
4、sql、代码层面
列裁剪，避免select *；
分区裁剪，使用分区字段过滤；
条件限制；
谓词下推；
map端预聚合；
大key的过滤；
打散倾斜key；
合适的join方式；
用Distribute By Rand控制分区中数据量；
group by优化；
中间结果的缓存和复用；
小文件优化。
5、任务层面
减少任务依赖，尽可能缩短链路；
业务链路/逻辑重构/改写；
任务分级，任务数评估，错峰调度；
任务依赖降级，周级别的任务依赖天级别，天级别依赖小时级别，小时级别依赖分钟级别；
避免频繁创建任务；
核心任务优先保证产出，双链路机制开启；
耗时长的任务拆分成子任务。任务批次提交；
资源动态扩容；
资源腾挪调整；
无用任务下线。