使用Apache Hive进行大数据分析的关键配置详解

Apache Hive是一个在Hadoop上构建的数据仓库工具,它允许用户通过类似SQL的语言(HiveQL)进行数据查询和分析。在使用Hive进行大数据分析之前,需要配置一些重要的参数以确保系统正常运行并满足特定需求。本文将重点介绍Apache Hive的关键配置属性,涵盖了元数据存储、临时目录、日志设置以及HiveServer2连接等方面。

1. 元数据存储配置

Apache Hive使用元数据存储来管理表定义、分区、列统计等信息。配置元数据存储的关键属性如下:

  • javax.jdo.option.ConnectionURL: 设置连接到元数据存储(如MySQL)的URL,包括数据库地址、端口、数据库名称等信息。
  • javax.jdo.option.ConnectionDriverName: 指定用于连接元数据存储的JDBC驱动程序类名。
  • javax.jdo.option.ConnectionUserNamejavax.jdo.option.ConnectionPassword: 指定连接到元数据存储所需的用户名和密码。

2. Hive执行过程设置

在执行查询和分析过程中,Hive可能会生成临时数据和日志。以下是与执行过程相关的配置属性:

  • hive.exec.local.scratchdir: 指定Hive执行过程中的临时目录。
  • hive.querylog.locationhive.server2.logging.operation.log.location: 分别设置Hive查询和操作日志的存储位置。
  • hive.downloaded.resources.dir: 设置远程资源下载的临时目录。

3. Hive表数据存储配置

Hive表中存储的数据需要指定存放位置的配置:

  • hive.metastore.warehouse.dir: 指定Hive表数据存储的根目录。

4. HiveServer2连接设置

HiveServer2是Hive提供的服务,用于允许远程客户端连接和执行查询。以下是HiveServer2连接相关的属性:

  • hive.metastore.uris: 指定Hive元数据服务的URI,用于请求远程存储的元数据。
  • hive.server2.thrift.porthive.server2.thrift.bind.host: 分别指定HiveServer2的端口号和运行HiveServer2服务的主机。
  • beeline.hs2.connection.userbeeline.hs2.connection.password: 用于Beeline连接到HiveServer2所需的用户名和密码。

5. hive配置实例

xml 复制代码
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<!--元数据连接字符串,使用MySQL存储元数据信息-->

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://node01:3306/metastore?

createDatabaseIfNoExitst=true&useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieva

l=true</value>

</property>

<!--元数据连接驱动类名-->

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.cj.jdbc.Driver</value>

</property>

<!--元数据连接时的用户名-->

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value></property>

<!--元数据连接时的用户密码-->

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

</property>

<!--HDFS路径,Hive使用该目录存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果。-->

<property>

<name>hive.exec.local.scratchdir</name>

<value>/hive/tmp</value>

</property>

<!--HDFS路径,元数据库位置-->

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/hive/warehouse</value>

</property>

<!--本地路径,Hive查询日志所在的目录,如果该值为空,将不创建查询日志-->

<property>

<name>hive.querylog.location</name>

<value>/tmp/hive/logs</value>

</property>

<!--本地路径,Hive操作日志-->

<property>

<name>hive.server2.logging.operation.log.location</name>

<value>/tmp/hive/logs</value>

</property>

<!--本地路径,远程资源下载的临时目录-->

<property>

<name>hive.downloaded.resources.dir</name>

<value>/tmp/hive/resources</value>

</property>

<!--目标元数据库,Hive连接到该URI,请求远程存储的元数据。-->

<property>

<name>hive.metastore.uris</name>

<value>thrift://node01:9083</value>

</property>

<!--hiveserver2服务默认的端口号-->

<property>

<name>hive.server2.thrift.port</name>

<value>10000</value>

</property>

<!--运行hiveserver2服务的主机-->

<property>

<name>hive.server2.thrift.bind.host</name>

<value>node01</value>

</property>

<!--运行hiveserver2服务的用户名-->

<property>

<name>beeline.hs2.connection.user</name>

<value>root</value>

</property><!--运行hiveserver2服务的密码-->

<property>

<name>beeline.hs2.connection.password</name>

<value>123456</value>

</property>

</configuration>

6. 重启HiveServer2服务:

保存并退出 hive-site.xml 文件后,重新启动HiveServer2服务以使更改生效。

相关推荐
认知作战壳吉桔1 小时前
中国认知作战研究中心:从认知战角度分析2007年iPhone发布
大数据·人工智能·新质生产力·认知战·认知战研究中心
2301_780356702 小时前
为医院量身定制做“旧改”| 全视通物联网智慧病房
大数据·人工智能·科技·健康医疗
我的棉裤丢了3 小时前
windows安装ES
大数据·elasticsearch·搜索引擎
想做富婆3 小时前
大数据,Hadoop,HDFS的简单介绍
大数据·hadoop·分布式
金融OG4 小时前
99.8 金融难点通俗解释:净资产收益率(ROE)
大数据·python·线性代数·机器学习·数学建模·金融·矩阵
希艾席蒂恩4 小时前
专业数据分析不止于Tableau,四款小众报表工具解析
大数据·信息可视化·数据分析·数据可视化·报表工具
JZC_xiaozhong5 小时前
低空经济中的数据孤岛难题,KPaaS如何破局?
大数据·运维·数据仓库·安全·ci/cd·数据分析·数据库管理员
乙卯年QAQ5 小时前
【Elasticsearch】RestClient操作文档
java·大数据·elasticsearch·jenkins
viperrrrrrrrrr76 小时前
大数据学习(40)- Flink执行流
大数据·学习·flink