Hive企业级调优[2]—— 测试用表

目录

测试用表

订单表 (2000万条数据)

支付表 (600万条数据)

商品信息表 (100万条数据)

省份信息表 (34条数据)


测试用表

订单表 (2000万条数据)

1)表结构

id (订单id) user_id (用户id) product_id (商品id) province_id (省份id) create_time (下单时间) product_num (商品件数) total_amount (订单金额)
10000001 125442354 15003199 1 2020-06-14 03:54:29 3 100.58
10000002 192758405 17210367 1 2020-06-14 01:19:47 8 677.18

2)建表语句

sql 复制代码
hive (default)> 
drop table if exists order_detail;
 create table order_detail(
     id           string comment '订单id',
     user_id      string comment '用户id',
     product_id   string comment '商品id',
     province_id  string comment '省份id',
     create_time  string comment '下单时间',
     product_num  int comment '商品件数',
     total_amount decimal(16, 2) comment '下单金额'
 )
 partitioned by (dt string)
 row format delimited fields terminated by '\t';

3)数据装载

order_detail.txt 文件上传到 hadoop12 节点的 /opt/module/hive/datas/ 目录,并执行以下导入语句。(数据可根据表结构自行模拟数据)

注:文件较大,请耐心等待。

sql 复制代码
hive (default)> load data local inpath '/opt/module/hive/datas/order_detail.txt' overwrite into table order_detail partition(dt='2020-06-14');
支付表 (600万条数据)

1)表结构

id (支付id) order_detail_id (订单id) user_id (用户id) payment_time (支付时间) total_amount (订单金额)
10000001 17403042 131508758 2020-06-14 13:55:44 391.72
10000002 19198884 133018075 2020-06-14 08:46:23 657.10

2)建表语句

sql 复制代码
hive (default)> 
drop table if exists payment_detail;
 create table payment_detail(
     id              string comment '支付id',
     order_detail_id string comment '订单明细id',
     user_id         string comment '用户id',
     payment_time    string comment '支付时间',
     total_amount    decimal(16, 2) comment '支付金额'
 )
 partitioned by (dt string)
 row format delimited fields terminated by '\t';

3)数据装载

payment_detail.txt 文件上传到 hadoop12 节点的 /opt/module/hive/datas/ 目录,并执行以下导入语句。(数据可根据表结构自行模拟数据)

注:文件较大,请耐心等待。

sql 复制代码
hive (default)> load data local inpath '/opt/module/hive/datas/payment_detail.txt' overwrite into table payment_detail partition(dt='2020-06-14');
商品信息表 (100万条数据)

1)表结构

id (商品id) product_name (商品名称) price (价格) category_id (分类id)
1000001 CuisW 4517.00 219
1000002 TBtbp 9357.00 208

2)建表语句

sql 复制代码
hive (default)> 
drop table if exists product_info;
 create table product_info(
     id           string comment '商品id',
     product_name string comment '商品名称',
     price        decimal(16, 2) comment '价格',
     category_id  string comment '分类id'
 )
 row format delimited fields terminated by '\t';

3)数据装载

product_info.txt 文件上传到 hadoop12 节点的 /opt/module/hive/datas/ 目录,并执行以下导入语句。(数据可根据表结构自行模拟数据)

sql 复制代码
hive (default)> load data local inpath '/opt/module/hive/datas/product_info.txt' overwrite into table product_info;
省份信息表 (34条数据)

1)表结构

id (省份id) province_name (省份名称)
1 北京
2 天津

2)建表语句

sql 复制代码
hive (default)> 
drop table if exists province_info;
 create table province_info(
     id            string comment '省份id',
     province_name string comment '省份名称'
 )
 row format delimited fields terminated by '\t';

3)数据装载

province_info.txt 文件上传到 hadoop12 节点的 /opt/module/hive/datas/ 目录,并执行以下导入语句。(数据可根据表结构自行模拟数据)

sql 复制代码
hive (default)> load data local inpath '/opt/module/hive/datas/province_info.txt' overwrite into table province_info;

注:需要下载源数据的,评论区私俺

相关推荐
CoookeCola1 天前
MovieNet(A holistic dataset for movie understanding) :面向电影理解的多模态综合数据集与工具链
数据仓库·人工智能·目标检测·计算机视觉·数据挖掘
K_i1342 天前
Hadoop 集群自动化运维实战
运维·hadoop·自动化
Q26433650232 天前
【有源码】基于Python与Spark的火锅店数据可视化分析系统-基于机器学习的火锅店综合竞争力评估与可视化分析-基于用户画像聚类的火锅店市场细分与可视化研究
大数据·hadoop·python·机器学习·数据分析·spark·毕业设计
想ai抽2 天前
深入starrocks-多列联合统计一致性探查与策略(YY一下)
java·数据库·数据仓库
starfalling10242 天前
【hive】一种高效增量表的实现
hive
顧棟2 天前
【Yarn实战】Yarn 2.9.1滚动升级到3.4.1调研与实践验证
hadoop·yarn
D明明就是我2 天前
Hive 拉链表
数据仓库·hive·hadoop
嘉禾望岗5032 天前
hive join优化和数据倾斜处理
数据仓库·hive·hadoop
yumgpkpm2 天前
华为鲲鹏 Aarch64 环境下多 Oracle 数据库汇聚操作指南 CMP(类 Cloudera CDP 7.3)
大数据·hive·hadoop·elasticsearch·zookeeper·big data·cloudera
忧郁火龙果3 天前
六、Hive的基本使用
数据仓库·hive·hadoop