一、目的
在用Flume采集Kafka中的数据直接写入Hive的ODS层静态分区表后,需要刷新表,才能导入分区和数据。原因很简单,就是Hive表缺乏分区的元数据
二、实施步骤
(一)问题------在Flume采集Kafka中的数据写入HDFS后,如果不刷新表,则没有分区和表数据
(二)解决方法------Hive刷新分区MSCK
hive> MSCK REPAIR TABLE ods_queue2;
在用Flume采集Kafka中的数据直接写入Hive的ODS层静态分区表后,需要刷新表,才能导入分区和数据。原因很简单,就是Hive表缺乏分区的元数据
hive> MSCK REPAIR TABLE ods_queue2;