大数据hive_mr压缩问题

Hive中压缩的设置：注意 本质还是指的是MapReduce的压缩

--设置Hive的中间压缩 也就是map的输出压缩

1）开启 hive 中间传输数据压缩功能

set hive.exec.compress.intermediate=true;

2）开启 mapreduce 中 map 输出压缩功能

set mapreduce.map.output.compress=true;

3）设置 mapreduce 中 map 输出数据的压缩方式

set mapreduce.map.output.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

--设置Hive的最终输出压缩，也就是Reduce输出压缩

1）开启 hive 最终输出数据压缩功能

set hive.exec.compress.output=true;

2）开启 mapreduce 最终输出数据压缩

set mapreduce.output.fileoutputformat.compress=true;

3）设置 mapreduce 最终数据输出压缩方式

set mapreduce.output.fileoutputformat.compress.codec =org.apache.hadoop.io.compress.SnappyCodec;

4）设置 mapreduce 最终数据输出压缩为块压缩 还可以指定RECORD

set mapreduce.output.fileoutputformat.compress.type=BLOCK;