Hive分桶表

分桶表

一、准备数据

markdown 复制代码
1,wsq1
2,wsq2
3,wsq3
4,wsq4
5,wsq5

二、开启分桶表的支持

sql 复制代码
set hive.enforce.bucketing=true;
set mapreduce.job.reduces=4;
set mapreduce.reduce.task=4;

三、创建分桶表

sql 复制代码
hive>create table bucketed_users(id int,name string) clustered by (id) sorted by (id) into 4 buckets row format delimited fields terminated by ',';

四、创建存放数据的表并将原数据加载入

sql 复制代码
hive> create table users(id int,name string) row format delimited fields terminated by ',';
hive> load data local inpath '/home/ec2-user/total/wsq' into table users;

五、数据装载到分桶表

sql 复制代码
hive> insert into bucketed_users select * from users;
相关推荐
学习中的阿陈2 小时前
Hadoop伪分布式环境配置
大数据·hadoop·分布式
vxtkjzxt8885 小时前
手机群控平台的核心功能
数据库·数据仓库
IT研究室7 小时前
大数据毕业设计选题推荐-基于大数据的健康与生活方式数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
IT学长编程17 小时前
计算机毕业设计 基于大数据技术的医疗数据分析与研究 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·机器学习·数据分析·毕业设计·毕业论文·医疗数据分析
IT学长编程19 小时前
计算机毕业设计 基于深度学习的酒店评论文本情感分析研究 Python毕业设计项目 Hadoop毕业设计选题 机器学习选题【附源码+文档报告+安装调试】
hadoop·python·深度学习·机器学习·数据分析·毕业设计·酒店评论文本情感分析
小朋友,你是否有很多问号?20 小时前
Mac安装hadoop
hadoop·macos
奋斗的蛋黄1 天前
HDFS与Yarn深入剖析
大数据·运维·hadoop
core5121 天前
Hive实战(三)
数据仓库·hive·hadoop
BYSJMG1 天前
计算机毕设推荐:基于Hadoop+Spark物联网网络安全数据分析系统 物联网威胁分析系统【源码+文档+调试】
大数据·hadoop·python·物联网·spark·django·课程设计
陈天伟教授1 天前
Hadoop Windows客户端配置与实践指南
大数据·hadoop·windows