1. Hive常用的存储格式
TEXTFI
textfile为默认存储格式
存储方式：行存储
磁盘开销大 数据解析开销大
压缩的text文件 hive 无法进行合拆分
SEQUENCEFILE
sequencefile二进制文件，以<key,value>的形式序列到文件中
存储方式：行存储
可以分割、压缩
一般选择block压缩
优势是和Hadoop api中的mapfile相互兼容的
RCFILE
存储方式：数据按行分块 每块按照列存储
压缩快 快速列存取
读记录尽量涉及到的block最少
读取需要的列只需要读取每个row group的头部定义
读取全量数据的操作 性能可能比sequence没有明显的优势
sql
================================================================================================================================================================
Hive的存储格式
================================================================================================================================================================
TEXTFILE
textfile为默认存储格式
存储方式：行存储
磁盘开销大 数据解析开销大
压缩的text文件 hive 无法进行合拆分
SEQUENCEFILE
sequencefile二进制文件，以<key,value>的形式序列到文件中
存储方式：行存储
可以分割、压缩
一般选择block压缩
优势是和Hadoop api中的mapfile相互兼容的。
RCFILE
存储方式：数据按行分块 每块按照列存储
压缩快 快速列存取
读记录尽量涉及到的block最少
读取需要的列只需要读取每个row group的头部定义
读取全量数据的操作 性能可能比sequence没有明显的优势
ORC
存储方式:数据按行分块，每块按照列存储
压缩快 压缩按照列存取
效率比rcfile高，是rcfile的改良版本
Apache ORC
ORC（OptimizedRC File）存储源自于RC（RecordColumnar File）这种存储格式，RC是一种列式存储引擎，
对schema演化（修改schema需要重新生成数据）支持较差，而ORC是对RC改进，但它仍对
schema演化支持较差，
主要是在压缩编码，查询性能方面做了优化。RC/ORC最初是在Hive中得到使用，最后发展势头不错，独立成一个单独的项目。
Hive 1.x版本对事务和update操作的支持，便是基于ORC实现的（其他存储格式暂不支持）。
ORC发展到今天，已经具备一些非常高级的feature，比如支持update操作，支持ACID，支持struct，array复杂类型。
你可以使用复杂类型构建一个类似于parquet的嵌套式数据架构，但当层数非常多时，
写起来非常麻烦和复杂，而parquet提供的schema表达方式更容易表示出多级嵌套的数据类型。
PARQUET
Apache Parquet
源自于google Dremel系统（可下载论文参阅），Parquet相当于Google Dremel中的数据存储引擎，
而Apache顶级开源项目Drill正是Dremel的开源实现。
Apache Parquet 最初的设计动机是存储嵌套式数据，比如Protocolbuffer，thrift，json等，将这类数据存储成列式格式，
以方便对其高效压缩和编码，且使用更少的IO操作取出需要的数据，
这也是Parquet相比于ORC的优势，
它能够透明地将Protobuf和thrift类型的数据进行列式存储，在Protobuf和thrift被广泛使用的今天，与parquet进行集成，
是一件非容易和自然的事情。
除了上述优势外，相比于ORC, Parquet没有太多其他可圈可点的地方，
比如它不支持update操作（数据写成后不可修改），不支持ACID等。
Avro格式
自定义格式
用户可以通过实现inputformat和 outputformat来自定义输入输出格式
================================================================================================================================================================
Hive的压缩算法
================================================================================================================================================================
GZip, BZip2 压缩方式(全版本都支持)
Snappy 最近新添加的压缩方式
LZO 需要额外的安装包
