Hive【非交互式使用、三种参数配置方式】

前言

今天开始学习 Hive,因为毕竟但凡做个项目基本就避不开用 Hive ,争取这学期结束前做个小点的项目。

第一篇博客内容还是比较少的,环境的搭建配置太琐碎没有写。

Hive 常用使用技巧

交互式使用

就是我们正常的进入 hive 命令行下的使用模式。

非交互式使用

所谓非交互式,也就是不需要进入 hive 命令行,直接在我们 linux Shell 命令行中执行。

hive -e

bash 复制代码
# 一段带字符串的 SQL 
-e <quoted-query-string>    SQL from command line

案例:

bash 复制代码
[lyh@hadoop102 hive-3.1.2]$ hive -e "insert into stu values(2,'lyh')"

hive -f

bash 复制代码
# 执行文件中的所有 SQL
-f <filename>    SQL from filename

案例:

将要执行的sql写入一个文件:

bash 复制代码
vim stu.sql
#写如以下sql 用分号隔开
insert into stu values(3,"ls");
select * from stu;

执行:

bash 复制代码
[lyh@hadoop102 ~]$ hive -f stu.sql 

Hive 参数配置方式

(1)查看当前所有的配置信息

bash 复制代码
hive> set;

(2)查看某个参数的配置信息

bash 复制代码
# 查看reduce开启的数量
hive(default)>set mapreduce.job.reduces;

(3)设置参数

1. hive-site.xml

这种设置参数的方式全局永久生效。

2. 命令行参数

启动 Hive 时,可以在命令行添加 -hiveconf param=value 的方式来设置参数。

这种设置参数的方式全局仅对本次 Hive 启动生效。

bash 复制代码
# 设置一个作业中reduce开启的数量
[lyh@hadoop102 hive-3.1.2]$ hive -hiveconf mapreduce.job.reduces=10;

3.参数声明方式

可以在 HQL 中使用 SET 关键字来设定参数:

bash 复制代码
hive(default)> set mapreduce.job.reduces=10;

同样,仅对本次Hive 启动生效。

查看参数设置:

bash 复制代码
hive(default)> set mapreduce.job.reduces;

总结

上面三种参数设置方式的优先级为 hive-site.xml < 命令行参数 < 参数声明 。除了某些系统级的参数,比如 log4j 相关的设置,必须使用前两种设置方式,因为那些参数的读取已经在会话建立前已经完成了。

相关推荐
计算机毕业编程指导师26 分钟前
计算机毕设答辩技巧:基于Hadoop+Django的公共交通运营数据分析与可视化系统怎么做 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·交通运行
计算机毕业编程指导师32 分钟前
【计算机毕设选题推荐】基于Hadoop+Django高频电力消耗大数据分析系统从0到1 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
hadoop·python·数据分析·spark·毕业设计·课程设计·电力
计算机毕业编程指导师1 小时前
【计算机毕设选题推荐】基于Spark的多源影视数据整合质量评估与可视化分析系统全解析 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·数据分析·spark·影视
卷毛迷你猪18 小时前
快速实验篇(B07 )Session 会话化与序列
大数据·hive·hadoop
卷毛迷你猪18 小时前
快速实验篇(B08)搜索词分析实战
大数据·hive·hadoop
计算机源码社1 天前
基于Spark的租房数据挖掘与可视化平台构建研究 基于K-Means与PCA的租房价值洞察与可视化分析
大数据·hadoop·数据挖掘·spark·毕业设计·kmeans·课程设计
一隅论数智1 天前
给AI Agent一颗“私域大脑“:本体增强的工程化之路
大数据·运维·数据仓库·人工智能·笔记·学习·政务
IT毕设梦工厂1 天前
计算机毕业设计选题推荐:基于大数据的巧克力销售数据分析与可视化|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·mysql·数据挖掘·数据分析·spark·课程设计
IT毕设梦工厂1 天前
计算机毕业设计选题推荐:基于大数据的青少年体质健康数据可视化与分析|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·信息可视化·数据挖掘·数据分析·spark·课程设计
卷毛迷你猪1 天前
快速实验篇(B10)品类共现与关联规则实战
大数据·hive·hadoop