【分布式数据仓库Hive】HivQL的使用

目录

一、Hive的基本操作

[1. 使用Hive创建数据库test](#1. 使用Hive创建数据库test)

[2. 检索数据库(模糊查看),检索形如'te*'的数据库](#2. 检索数据库(模糊查看),检索形如’te*’的数据库)

[3. 查看数据库test详情](#3. 查看数据库test详情)

[4. 删除数据库test](#4. 删除数据库test)

[5. 创建一个学生数据库Stus,在其中创建一个内部表Student,表格包含两列:学号(字符型),姓名(字符型)](#5. 创建一个学生数据库Stus,在其中创建一个内部表Student,表格包含两列:学号(字符型),姓名(字符型))

[6. 修改表student表结构,添加新的一列:年龄,整数型](#6. 修改表student表结构,添加新的一列:年龄,整数型)

[7. 创建一个表格名为employees,列名和数据类型根据常用习惯系定义,其表结构能载入如下格式的数据,并映射为表结构对应的字段。](#7. 创建一个表格名为employees,列名和数据类型根据常用习惯系定义,其表结构能载入如下格式的数据,并映射为表结构对应的字段。)

二、Sogou日志数据分析

[1. 统计每个uid的查询次数](#1. 统计每个uid的查询次数)

[2. 搜索关键字内容包含'仙剑'超过三次的用户id](#2. 搜索关键字内容包含‘仙剑’超过三次的用户id)

[3. 统计不重复的uid的行数](#3. 统计不重复的uid的行数)


一、Hive的基本操作

1. 使用Hive创建数据库test

sql 复制代码
create database test;

show databases;  //查看数据库

2. 检索数据库(模糊查看),检索形如'te*'的数据库

sql 复制代码
show database like 'te*';

3. 查看数据库test详情

sql 复制代码
describe database test;

4. 删除数据库test

sql 复制代码
drop database test;

5. 创建一个学生数据库Stus,在其中创建一个内部表Student,表格包含两列:学号(字符型),姓名(字符型)

sql 复制代码
create database Stus;

use Stus;

create table student(
sno string,
sname string
);

6. 修改表student表结构,添加新的一列:年龄,整数型

sql 复制代码
alter table student add column(sage int);

7. 创建一个表格名为employees,列名和数据类型根据常用习惯系定义,其表结构能载入如下格式的数据,并映射为表结构对应的字段。

1,hengdian,1000.0,13872787890,Zhejiang

2,hengqin,1234.0,18739292798,Guangdong

3,baishui,8797.0,13490980090,Hunan

写出创建表格的语句,并使用load语句将上述数据内容载入表结构,该数据以文本文件的形式存放在本地文件系统,请自行用vi编辑器编辑。

data.txt

创建表的语法:

sql 复制代码
create table employees(
eno string,
ename string,
esal float,
phone string,
address string )
row format delimited 
fields terminated by ',' ;
sql 复制代码
descripe employees;

导入本地数据语法:

sql 复制代码
load data local inpath '/home/gdpu/data.txt' into table employees;
sql 复制代码
select * from employees; 

二、Sogou日志数据分析

请完成创建外部表格并关联sogou的500w数据,使用HiveQL完成下列数据分析。写出Hive语句和执行结果。

sql 复制代码
create table sogou2024 (
times string,
uid string,
keyword string,
ranks int,
orders int,
URL string )
row format delimited 
fields terminated by '\t';
sql 复制代码
load data inpath 'hdfs://hadoop100:8020/sogou.500w.utf8' into table sogou2024;
sql 复制代码
select * from sogou2024 limit 10;  //验证是否导入成功

1. 统计每个uid的查询次数

sql 复制代码
select uid, count(*) as cnt from sogou2024 group by uid;

下面的截图是执行结果的最后一部分,结果有135万多行。

2. 搜索关键字内容包含'仙剑'超过三次的用户id

sql 复制代码
select uid 
from sogou2024 
where keyword like'%仙剑%'group by uid 
having count(*) > 3 ;

运行截图 :

3. 统计不重复的uid的行数

sql 复制代码
select count(distinct uid) as unique_uid_count 

from sogou2024;

运行截图:

  1. 统计搜索的关键字词频,找出查询频度超过20的关键词和其频度,按照频度从高到低排列。
sql 复制代码
select keyword , count(*) as frequency

from sogou2024

group by keyword

having count(*) > 20

order by frequency desc;

运行截图:

相关推荐
Code季风36 分钟前
微服务分布式配置中心:Gin Web 服务层与 gRPC 服务层集成 Nacos 实战
分布式·微服务·rpc·架构·go·gin·consul
万米商云2 小时前
企业物资集采平台解决方案:跨地域、多仓库、百部门——大型企业如何用一套系统管好百万级物资?
大数据·运维·人工智能
BigData共享2 小时前
极致性能背后的黑科技?这个世上没有“银弹”!(三)
大数据
阿里云大数据AI技术2 小时前
Flink Forward Asia 2025 主旨演讲精彩回顾
大数据·人工智能·flink
y_y_liang2 小时前
图生生AI商品换背景,高效商拍!
大数据·人工智能·ai·ai作画
王小王-1232 小时前
基于Hadoop的用户购物行为可视化分析系统设计与实现
大数据·hadoop·分布式·用户购物行为·电商日志分析
沐尘而生2 小时前
【AI智能体】智能音视频-硬件设备基于 WebSocket 实现语音交互
大数据·人工智能·websocket·机器学习·ai作画·音视频·娱乐
贝格前端工场3 小时前
小程序订阅消息设计:用户触达与隐私保护的平衡法则
大数据·小程序
sql2008help3 小时前
5-Kafka-replication(副本机制)概念
分布式·kafka
成都极云科技4 小时前
成都算力租赁新趋势:H20 八卡服务器如何重塑 AI 产业格局?
大数据·服务器·人工智能·云计算·gpu算力