Hive企业级调优[2]—— 测试用表

目录

测试用表

订单表 (2000万条数据)

支付表 (600万条数据)

商品信息表 (100万条数据)

省份信息表 (34条数据)


测试用表

订单表 (2000万条数据)

1)表结构

id (订单id) user_id (用户id) product_id (商品id) province_id (省份id) create_time (下单时间) product_num (商品件数) total_amount (订单金额)
10000001 125442354 15003199 1 2020-06-14 03:54:29 3 100.58
10000002 192758405 17210367 1 2020-06-14 01:19:47 8 677.18

2)建表语句

sql 复制代码
hive (default)> 
drop table if exists order_detail;
 create table order_detail(
     id           string comment '订单id',
     user_id      string comment '用户id',
     product_id   string comment '商品id',
     province_id  string comment '省份id',
     create_time  string comment '下单时间',
     product_num  int comment '商品件数',
     total_amount decimal(16, 2) comment '下单金额'
 )
 partitioned by (dt string)
 row format delimited fields terminated by '\t';

3)数据装载

order_detail.txt 文件上传到 hadoop12 节点的 /opt/module/hive/datas/ 目录,并执行以下导入语句。(数据可根据表结构自行模拟数据)

注:文件较大,请耐心等待。

sql 复制代码
hive (default)> load data local inpath '/opt/module/hive/datas/order_detail.txt' overwrite into table order_detail partition(dt='2020-06-14');
支付表 (600万条数据)

1)表结构

id (支付id) order_detail_id (订单id) user_id (用户id) payment_time (支付时间) total_amount (订单金额)
10000001 17403042 131508758 2020-06-14 13:55:44 391.72
10000002 19198884 133018075 2020-06-14 08:46:23 657.10

2)建表语句

sql 复制代码
hive (default)> 
drop table if exists payment_detail;
 create table payment_detail(
     id              string comment '支付id',
     order_detail_id string comment '订单明细id',
     user_id         string comment '用户id',
     payment_time    string comment '支付时间',
     total_amount    decimal(16, 2) comment '支付金额'
 )
 partitioned by (dt string)
 row format delimited fields terminated by '\t';

3)数据装载

payment_detail.txt 文件上传到 hadoop12 节点的 /opt/module/hive/datas/ 目录,并执行以下导入语句。(数据可根据表结构自行模拟数据)

注:文件较大,请耐心等待。

sql 复制代码
hive (default)> load data local inpath '/opt/module/hive/datas/payment_detail.txt' overwrite into table payment_detail partition(dt='2020-06-14');
商品信息表 (100万条数据)

1)表结构

id (商品id) product_name (商品名称) price (价格) category_id (分类id)
1000001 CuisW 4517.00 219
1000002 TBtbp 9357.00 208

2)建表语句

sql 复制代码
hive (default)> 
drop table if exists product_info;
 create table product_info(
     id           string comment '商品id',
     product_name string comment '商品名称',
     price        decimal(16, 2) comment '价格',
     category_id  string comment '分类id'
 )
 row format delimited fields terminated by '\t';

3)数据装载

product_info.txt 文件上传到 hadoop12 节点的 /opt/module/hive/datas/ 目录,并执行以下导入语句。(数据可根据表结构自行模拟数据)

sql 复制代码
hive (default)> load data local inpath '/opt/module/hive/datas/product_info.txt' overwrite into table product_info;
省份信息表 (34条数据)

1)表结构

id (省份id) province_name (省份名称)
1 北京
2 天津

2)建表语句

sql 复制代码
hive (default)> 
drop table if exists province_info;
 create table province_info(
     id            string comment '省份id',
     province_name string comment '省份名称'
 )
 row format delimited fields terminated by '\t';

3)数据装载

province_info.txt 文件上传到 hadoop12 节点的 /opt/module/hive/datas/ 目录,并执行以下导入语句。(数据可根据表结构自行模拟数据)

sql 复制代码
hive (default)> load data local inpath '/opt/module/hive/datas/province_info.txt' overwrite into table province_info;

注:需要下载源数据的,评论区私俺

相关推荐
weixin_307779136 小时前
在 Microsoft Azure 上部署 ClickHouse 数据仓库:托管服务与自行部署的全面指南
开发语言·数据库·数据仓库·云计算·azure
weixin_3077791310 小时前
AWS Redshift 数据仓库完整配置与自动化管理指南
开发语言·数据仓库·python·云计算·aws
yumgpkpm12 小时前
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境多个mysql数据库汇聚的操作指南
大数据·hive·hadoop·zookeeper·big data·cloudera
华阙之梦13 小时前
【在 Windows 上运行 Apache Hadoop 或 Spark/GeoTrellis 涉及 HDFS 】
hadoop·windows·apache
还是大剑师兰特17 小时前
Hadoop面试题及详细答案 110题 (96-105)-- Hadoop性能优化
hadoop·大剑师·hadoop面试题
ApacheSeaTunnel1 天前
新兴数据湖仓手册·从分层架构到数据湖仓架构(2025):数据仓库分层的概念与设计
大数据·数据仓库·开源·数据湖·dataops·白鲸开源·底层技术
洛克大航海1 天前
Ubuntu中使用Hadoop的HDFS和MapReduce
hadoop·ubuntu·hdfs·mapreduce
夫唯不争,故无尤也2 天前
Maven创建Java项目实战全流程
java·数据仓库·hive·hadoop·maven
想ai抽2 天前
深入starrocks-怎样实现多列联合统计信息
java·数据库·数据仓库
还是大剑师兰特2 天前
Hadoop面试题及详细答案 110题 (71-85)-- 集群部署与运维
大数据·hadoop·大剑师·hadoop面试题