hive-分桶-索引(初篇)

hvie - 分桶

  • 创建分桶表之前要先设置hive允许进行强制分桶配置
复制代码
set hive.enforce.bucketing=true
  • 创建分桶表
复制代码
create table tmp_bucket(id int,
                        name String) 
                        clustered by (id) into 4 buckets    
  • 建表

  • 其中x表示分几个桶进行抽样,y表示间隔几个桶进行一次分桶

复制代码
select columns 
from  table tablesample(bucket x out of y on column);
  • 进行抽样
复制代码
select id,name from tmp_bucket tablesample(bucket 1 out of 2 on id);
  • 像分桶表加载数据
复制代码
insert overwrite table tmp_bucket 
select id,name from source_data;
# 其中的source_data 表中的数据一定是提前分好桶的
​
  • 查询分桶表 - > 高效抽样 , 通过桶号进行抽样
复制代码
select * from tmp_bucket where name in (select name from tmp_bucket distribute by rand() into 3 butkets);   

hive-索引

  • 刚创建完hive的索引表是数据的, 需要生成索引数据
复制代码
alter index 索引名称 on table_name rebuild;
  • 查看索引
复制代码
show  formatted index on table_name

这篇文件未完成待续哦 ......

相关推荐
Blossom.1181 小时前
低代码开发:重塑软件开发的未来
数据仓库·人工智能·深度学习·低代码·机器学习·database·数据库架构
IT成长日记1 小时前
【Hadoop入门】Hadoop生态圈概述:核心组件与应用场景概述
大数据·hadoop·分布式
XF鸭1 天前
在Hive中,将数据从一个表查询并插入到另一个表
数据仓库·hive·hadoop
viperrrrrrrrrr71 天前
大数据学习(96)-Hive面试题
大数据·hive·学习
麻芝汤圆2 天前
MapReduce 的广泛应用:从数据处理到智能决策
java·开发语言·前端·hadoop·后端·servlet·mapreduce
随缘而动,随遇而安2 天前
第四十篇 企业级数据仓库建模深度实践:从理论到落地的维度建模全攻略
大数据·数据库·数据仓库·数据分析·数据库架构
一个天蝎座 白勺 程序猿2 天前
大数据(4.4)Hive多表JOIN终极指南:7大关联类型与性能优化实战解析
hive·hadoop·性能优化
weixin_307779132 天前
判断HiveQL语句为ALTER TABLE语句的识别函数
开发语言·数据仓库·hive·c#
麓殇⊙3 天前
使用注解开发springMVC
数据仓库·hive·hadoop
北随琛烬入3 天前
Spark(10)配置Hadoop集群-集群配置
java·hadoop·spark