hive的cascade使用解释

最近看到涉及到hive表字段新增，项目组其他人员让我add columns后加 cascade，这个我以前见到过，但是我一般没有用，也没出问题，那就研究下。

网上大多数的说法就是分区表加字段需要级联，原因是，你add column只针对后面的新增分区，历史分区没有加上字段，后面你插入数据也无法查询。

实践是检验真理的唯一标准。

复制代码

drop table if exists cc_test.cascade_1;
create table cc_test.cascade_1(
                                  id string ,
                                  name string
)
    partitioned by (bd_date string)
stored as parquet ;

insert into cc_test.cascade_1(id, name, bd_date) VALUES ('1','1','1'),('2','2','2');

alter table cc_test.cascade_1 add columns (sex string ) ;

insert into cc_test.cascade_1(id, name,sex, bd_date) VALUES ('11','11','11','1'),('3','3','3','3');

select * from cc_test.cascade_1

擦 id=11 的这条数据的sex确实没有显现出来，难道我真的错了？

加了级联cascade 就好了。

其实不然，只需将表的存储类型改为orc即可。

说明了parquet由于存储类型的问题，add columns的需要加cascade

但是orc不需要的。

直接去官网看下cascade解释

ADD COLUMNS lets you add new columns to the end of the existing columns but before the partition columns. This is supported for Avro backed tables as well, for Hive 0.14 and later.

-- add columns 只支持在列的最后和分区字段前加列。

REPLACE COLUMNS removes all existing columns and adds the new set of columns. This can be done only for tables with a native SerDe (DynamicSerDe, MetadataTypedColumnsetSerDe, LazySimpleSerDe and ColumnarSerDe). Refer to Hive SerDe for more information. REPLACE COLUMNS can also be used to drop columns. For example, "ALTER TABLE test_change REPLACE COLUMNS (a int, b int);" will remove column 'c' from test_change's schema.

--这个是repalce 和change的用法

The PARTITION clause is available in Hive 0.14.0 and later; see Upgrading Pre-Hive 0.13.0 Decimal Columns for usage.

-- 对某个分区的操作

The CASCADE |RESTRICT clause is available in Hive 1.1.0. ALTER TABLE ADD|REPLACE COLUMNS with CASCADE command changes the columns of a table's metadata, and cascades the same change to all the partition metadata. RESTRICT is the default, limiting column changes only to table metadata.

这里说的是默认是restrict 默认只改表的数据，cascade改表的元数据和分区的元数据

但是这里并没有说哪些类型的表不需要改？

ALTER TABLE ADD or REPLACE COLUMNS CASCADE will override the table partition's column metadata regardless of the table or partition's protection mode. Use with discretion.

The column change command will only modify Hive's metadata, and will not modify data. Users should make sure the actual data layout of the table/partition conforms with the metadata definition.

经过测试 textfile和parquet 需要加，orc和avro不需要，当然你要全部加上也没啥。