Hive【非交互式使用、三种参数配置方式】

前言

今天开始学习 Hive,因为毕竟但凡做个项目基本就避不开用 Hive ,争取这学期结束前做个小点的项目。

第一篇博客内容还是比较少的,环境的搭建配置太琐碎没有写。

Hive 常用使用技巧

交互式使用

就是我们正常的进入 hive 命令行下的使用模式。

非交互式使用

所谓非交互式,也就是不需要进入 hive 命令行,直接在我们 linux Shell 命令行中执行。

hive -e

bash 复制代码
# 一段带字符串的 SQL 
-e <quoted-query-string>    SQL from command line

案例:

bash 复制代码
[lyh@hadoop102 hive-3.1.2]$ hive -e "insert into stu values(2,'lyh')"

hive -f

bash 复制代码
# 执行文件中的所有 SQL
-f <filename>    SQL from filename

案例:

将要执行的sql写入一个文件:

bash 复制代码
vim stu.sql
#写如以下sql 用分号隔开
insert into stu values(3,"ls");
select * from stu;

执行:

bash 复制代码
[lyh@hadoop102 ~]$ hive -f stu.sql 

Hive 参数配置方式

(1)查看当前所有的配置信息

bash 复制代码
hive> set;

(2)查看某个参数的配置信息

bash 复制代码
# 查看reduce开启的数量
hive(default)>set mapreduce.job.reduces;

(3)设置参数

1. hive-site.xml

这种设置参数的方式全局永久生效。

2. 命令行参数

启动 Hive 时,可以在命令行添加 -hiveconf param=value 的方式来设置参数。

这种设置参数的方式全局仅对本次 Hive 启动生效。

bash 复制代码
# 设置一个作业中reduce开启的数量
[lyh@hadoop102 hive-3.1.2]$ hive -hiveconf mapreduce.job.reduces=10;

3.参数声明方式

可以在 HQL 中使用 SET 关键字来设定参数:

bash 复制代码
hive(default)> set mapreduce.job.reduces=10;

同样,仅对本次Hive 启动生效。

查看参数设置:

bash 复制代码
hive(default)> set mapreduce.job.reduces;

总结

上面三种参数设置方式的优先级为 hive-site.xml < 命令行参数 < 参数声明 。除了某些系统级的参数,比如 log4j 相关的设置,必须使用前两种设置方式,因为那些参数的读取已经在会话建立前已经完成了。

相关推荐
卷毛迷你猪4 天前
快速实验篇(A11)数据集成与多维分析:从单实验产出到跨实验宽表
hive·hadoop
西木莉4 天前
数据仓库概述
数据仓库
卷毛迷你猪5 天前
快速实验篇(A10)短序列上 SPI 的失效机制
hadoop
Francek Chen6 天前
【大数据处理与分析】数据仓库Hive:04 数据仓库Hive概述
大数据·数据仓库·hive·hadoop·分布式
Gl�ria6 天前
Hadoop/YARN 集群缩容:下线DN节点
大数据·hadoop·分布式
计算机源码社6 天前
基于大数据技术的台北市住宅价格影响因素挖掘与可视化分析-基于Python与Hadoop的台北市住宅价格数据仓库构建与可视化
大数据·hadoop·python·数据分析·spark·毕业设计·数据可视化
计算机源码社6 天前
基于Hadoop+Spark的乳腺癌病理数据可视化分析系统 基于K-Means聚类与PCA降维的乳腺癌形态特征分析系统
大数据·hadoop·python·数据分析·spark·毕业设计·数据可视化
Moshow郑锴6 天前
从“水库”到“直饮水站”:重新理解 Data Mart 与 Data Lake、Data Lakehouse、Data Warehouse 的区别
数据仓库·data·湖仓一体
躺柒7 天前
读数据架构知识体系指南01关系数据仓库(上)
数据仓库·架构·数据分析·spark·数据湖·关系数据库·企业数据仓库
卷毛迷你猪7 天前
快速实验篇(A9-2)Python vs MapReduce:小批量任务的工具选择
大数据·hadoop