通过Hive小文件合并（CombineHiveInputFormat）减少80%的Map任务数

一、Hive小文件合并（CombineHiveInputFormat）减少Map任务数

核心问题：小文件过多导致Map任务激增（每个文件至少一个Map），浪费资源且增加NameNode压力

优化策略：

1. 输入合并（Map前合并）

   • 参数配置 ：

     SQL

     set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; -- 启用合并输入 set mapred.max.split.size=256000000; -- 单个Map处理的最大数据量（默认256MB） set mapred.min.split.size.per.node=100000000; -- 单个节点最小合并阈值
     通过将多个小文件合并为逻辑块，减少Map数量（例如将100个1MB文件合并为2个Map任务）

2. 输出合并（任务结束后合并）

   • 参数配置 ：

     SQL

     set hive.merge.mapfiles=true; -- 合并Map输出 set hive.merge.mapredfiles=true; -- 合并Reduce输出 set hive.merge.size.per.task=256000000; -- 目标文件大小 set hive.merge.smallfiles.avgsize=16000000; -- 触发合并的阈值

   • 合并机制 ：
     任务结束后自动启动Map-only作业，将碎片文件合并至目标大小，避免后续任务处理小文件

效果验证：

• 案例：某集群通过合并参数优化，Map任务数从1000+降至200，减少80%资源消耗
• 注意事项 ：合并操作可能增加作业耗时，建议仅在最终结果表启用