Hive分桶表

分桶表

一、准备数据

markdown 复制代码
1,wsq1
2,wsq2
3,wsq3
4,wsq4
5,wsq5

二、开启分桶表的支持

sql 复制代码
set hive.enforce.bucketing=true;
set mapreduce.job.reduces=4;
set mapreduce.reduce.task=4;

三、创建分桶表

sql 复制代码
hive>create table bucketed_users(id int,name string) clustered by (id) sorted by (id) into 4 buckets row format delimited fields terminated by ',';

四、创建存放数据的表并将原数据加载入

sql 复制代码
hive> create table users(id int,name string) row format delimited fields terminated by ',';
hive> load data local inpath '/home/ec2-user/total/wsq' into table users;

五、数据装载到分桶表

sql 复制代码
hive> insert into bucketed_users select * from users;
相关推荐
爱吃面的猫17 小时前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
zhuiQiuMX18 小时前
脉脉maimai面试死亡日记
数据仓库·sql·面试
Edingbrugh.南空1 天前
Hadoop MapReduce 入门
大数据·hadoop·mapreduce
大数据CLUB2 天前
基于spark的奥运会奖牌变化数据分析
大数据·hadoop·数据分析·spark
Edingbrugh.南空2 天前
Hadoop高可用集群搭建
大数据·hadoop·分布式
无级程序员3 天前
hive2服务启动报错:/tmp/hive on HDFS should be writable(不是chmod 777能解决的)
hive·hadoop·hdfs
rui锐rui3 天前
大数据学习2:HIve
大数据·hive·学习
凌辰揽月3 天前
Servlet学习
hive·学习·servlet
weixin_307779134 天前
Hive集群之间迁移的Linux Shell脚本
大数据·linux·hive·bash·迁移学习
王小王-1234 天前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车