Hive SQL基础语法及查询实践

SELECT [ALL | DISTINCT] select_expr, select_expr, ...
FROM table_reference    -- 从什么表查
[WHERE where_condition]  -- 过滤
[GROUP BY col_list]    -- 分组查询
[HAVING col_list]     -- 分组后过滤
[ORDER BY col_list]    -- 排序
[CLUSTER BY col_list
 | [DISTRIBUTE BY col_list] [SORT BY col_list]
 ]
[LIMIT number]        -- 限制输出的行数

基本查询（Select...From）

数据准备

（0）原始数据

在 /opt/module/hive/datas/ 路径上创建 dept.txt 文件，并赋值如下内容：

sql 复制代码

部门编号 部门名称 部门位置id

10 行政部 1700
20 财务部 1800
30 教学部 1900
40 销售部 1700

在 /opt/module/hive/datas/ 路径上创建 emp.txt 文件，并赋值如下内容：

sql 复制代码

员工编号 姓名 岗位   薪资  部门

7369 张三 研发 800.00 30
7499 李四 财务 1600.00 20
7521 王五 行政 1250.00 10
7566 赵六 销售 2975.00 40
7654 侯七 研发 1250.00 30
7698 马八 研发 2850.00 30
7782 金九 \N 2450.0 30
7788 银十 行政 3000.00 10
7839 小芳 销售 5000.00 40
7844 小明 销售 1500.00 40
7876 小李 行政 1100.00 10
7900 小元 讲师 950.00 30
7902 小海 行政 3000.00 10
7934 小红明 讲师 1300.00 30

（1）创建部门表

sql 复制代码

CREATE TABLE IF NOT EXISTS dept (
  deptno INT,   -- 部门编号
  dname STRING,  -- 部门名称
  loc INT     -- 部门位置
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

（2）创建员工表

sql 复制代码

CREATE TABLE IF NOT EXISTS emp (
  empno INT,    -- 员工编号
  ename STRING,  -- 员工姓名
  job STRING,   -- 员工岗位（大数据工程师、前端工程师、java工程师）
  sal DOUBLE,   -- 员工薪资
  deptno INT    -- 部门编号
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

（3）导入数据

sql 复制代码

LOAD DATA LOCAL INPATH '/opt/module/hive/datas/dept.txt' INTO TABLE dept;
LOAD DATA LOCAL INPATH '/opt/module/hive/datas/emp.txt' INTO TABLE emp;

全表和特定列查询

1. 全表查询

sql 复制代码

SELECT * FROM emp;

2. 选择特定列查询

sql 复制代码

SELECT empno, ename FROM emp;

注意：

SQL 语言大小写不敏感。
SQL 可以写在一行或者多行。
关键字不能被缩写也不能分行。
各子句一般要分行写。
使用缩进提高语句的可读性。

列别名

1. 重命名一个列

2. 便于计算

3. 紧跟列名，也可以在列名和别名之间加入关键字 'AS'

案例实操

查询名称和部门。

sql 复制代码

SELECT 
  ename AS name, 
  deptno dn 
FROM emp;

Limit语句

典型的查询会返回多行数据。LIMIT 子句用于限制返回的行数。

sql 复制代码

SELECT * FROM emp LIMIT 5;
SELECT * FROM emp LIMIT 2, 3; -- 表示从第2行开始，向下抓取3行

Where语句

1. 使用 `WHERE` 子句，将不满足条件的行过滤掉

2. `WHERE` 子句紧随 `FROM` 子句

案例实操

查询出薪水大于1000的所有员工。

sql 复制代码

SELECT * FROM emp WHERE sal > 1000;

注意：WHERE 子句中不能使用字段别名。

关系运算函数

1. 基本语法

如下操作符主要用于 WHERE 和 HAVING 语句中。

操作符	支持的数据类型	描述
A=B	基本数据类型	如果A等于B则返回true，反之返回false
A<=>B	基本数据类型	如果A和B都为null或者都不为null，则返回true，如果只有一边为null，返回false
A<>B, A!=B	基本数据类型	A或者B为null则返回null；如果A不等于B，则返回true，反之返回false
A<B	基本数据类型	A或者B为null，则返回null；如果A小于B，则返回true，反之返回false
A<=B	基本数据类型	A或者B为null，则返回null；如果A小于等于B，则返回true，反之返回false
A>B	基本数据类型	A或者B为null，则返回null；如果A大于B，则返回true，反之返回false
A>=B	基本数据类型	A或者B为null，则返回null；如果A大于等于B，则返回true，反之返回false
A [not] between B and C	基本数据类型	如果A，B或者C任一为null，则结果为null。如果A的值大于等于B而且小于或等于C，则结果为true，反之为false。如果使用not关键字则可达到相反的效果。
A is null	所有数据类型	如果A等于null，则返回true，反之返回false
A is not null	所有数据类型	如果A不等于null，则返回true，反之返回false
in（数值1，数值2）	所有数据类型	使用 in运算显示列表中的值
A [not] like B	string 类型	B是一个SQL下的简单正则表达式，也叫通配符模式，如果A与其匹配的话，则返回true；反之返回false。B的表达式说明如下：'x%'表示A必须以字母'x'开头，'%x'表示A必须以字母'x'结尾，而'%x%'表示A包含有字母'x',可以位于开头，结尾或者字符串中间。如果使用not关键字则可达到相反的效果。
A rlike B, A regexp B	string 类型	B是基于java的正则表达式，如果A与其匹配，则返回true；反之返回false。匹配使用的是JDK中的正则表达式接口实现的，因为正则也依据其中的规则。例如，正则表达式必须和整个字符串A相匹配，而不是只需与其字符串匹配。

逻辑运算函数

1. 基本语法（and/or/not）

操作符	含义
and	逻辑并
or	逻辑或
not	逻辑否

2. 案例实操

查询薪水大于1000，部门是30

sql 复制代码

SELECT 
  *
FROM emp 
WHERE sal > 1000 AND deptno = 30;

查询薪水大于1000，或者部门是30

sql 复制代码

SELECT 
  *
FROM emp 
WHERE sal > 1000 OR deptno = 30;

查询除了20部门和30部门以外的员工信息

sql 复制代码

SELECT 
  *
FROM emp 
WHERE deptno NOT IN (30, 20);

聚合函数

1. 语法

count(*)，表示统计所有行数，包含null值；
count(某列)，表示该列一共有多少行，不包含null值；
max()，求最大值，不包含null，除非所有值都是null；
min()，求最小值，不包含null，除非所有值都是null；
sum()，求和，不包含null。
avg()，求平均值，不包含null。

2. 案例实操

求总行数（count）

sql 复制代码

SELECT COUNT(*) cnt FROM emp;

hive sql执行过程：

求工资的最大值（max）

sql 复制代码

SELECT MAX(sal) max_sal FROM emp;

hive sql执行过程：

求工资的最小值（min）

sql 复制代码

SELECT MIN(sal) min_sal FROM emp;

hive sql执行过程：

求工资的总和（sum）

sql 复制代码

SELECT SUM(sal) sum_sal FROM emp;

hive sql执行过程：

求工资的平均值（avg）

sql 复制代码

SELECT AVG(sal) avg_sal FROM emp;

hive sql执行过程：