使用Apache Hive进行大数据分析的关键配置详解

Apache Hive是一个在Hadoop上构建的数据仓库工具,它允许用户通过类似SQL的语言(HiveQL)进行数据查询和分析。在使用Hive进行大数据分析之前,需要配置一些重要的参数以确保系统正常运行并满足特定需求。本文将重点介绍Apache Hive的关键配置属性,涵盖了元数据存储、临时目录、日志设置以及HiveServer2连接等方面。

1. 元数据存储配置

Apache Hive使用元数据存储来管理表定义、分区、列统计等信息。配置元数据存储的关键属性如下:

  • javax.jdo.option.ConnectionURL: 设置连接到元数据存储(如MySQL)的URL,包括数据库地址、端口、数据库名称等信息。
  • javax.jdo.option.ConnectionDriverName: 指定用于连接元数据存储的JDBC驱动程序类名。
  • javax.jdo.option.ConnectionUserNamejavax.jdo.option.ConnectionPassword: 指定连接到元数据存储所需的用户名和密码。

2. Hive执行过程设置

在执行查询和分析过程中,Hive可能会生成临时数据和日志。以下是与执行过程相关的配置属性:

  • hive.exec.local.scratchdir: 指定Hive执行过程中的临时目录。
  • hive.querylog.locationhive.server2.logging.operation.log.location: 分别设置Hive查询和操作日志的存储位置。
  • hive.downloaded.resources.dir: 设置远程资源下载的临时目录。

3. Hive表数据存储配置

Hive表中存储的数据需要指定存放位置的配置:

  • hive.metastore.warehouse.dir: 指定Hive表数据存储的根目录。

4. HiveServer2连接设置

HiveServer2是Hive提供的服务,用于允许远程客户端连接和执行查询。以下是HiveServer2连接相关的属性:

  • hive.metastore.uris: 指定Hive元数据服务的URI,用于请求远程存储的元数据。
  • hive.server2.thrift.porthive.server2.thrift.bind.host: 分别指定HiveServer2的端口号和运行HiveServer2服务的主机。
  • beeline.hs2.connection.userbeeline.hs2.connection.password: 用于Beeline连接到HiveServer2所需的用户名和密码。

5. hive配置实例

xml 复制代码
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<!--元数据连接字符串,使用MySQL存储元数据信息-->

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://node01:3306/metastore?

createDatabaseIfNoExitst=true&useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieva

l=true</value>

</property>

<!--元数据连接驱动类名-->

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.cj.jdbc.Driver</value>

</property>

<!--元数据连接时的用户名-->

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value></property>

<!--元数据连接时的用户密码-->

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

</property>

<!--HDFS路径,Hive使用该目录存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果。-->

<property>

<name>hive.exec.local.scratchdir</name>

<value>/hive/tmp</value>

</property>

<!--HDFS路径,元数据库位置-->

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/hive/warehouse</value>

</property>

<!--本地路径,Hive查询日志所在的目录,如果该值为空,将不创建查询日志-->

<property>

<name>hive.querylog.location</name>

<value>/tmp/hive/logs</value>

</property>

<!--本地路径,Hive操作日志-->

<property>

<name>hive.server2.logging.operation.log.location</name>

<value>/tmp/hive/logs</value>

</property>

<!--本地路径,远程资源下载的临时目录-->

<property>

<name>hive.downloaded.resources.dir</name>

<value>/tmp/hive/resources</value>

</property>

<!--目标元数据库,Hive连接到该URI,请求远程存储的元数据。-->

<property>

<name>hive.metastore.uris</name>

<value>thrift://node01:9083</value>

</property>

<!--hiveserver2服务默认的端口号-->

<property>

<name>hive.server2.thrift.port</name>

<value>10000</value>

</property>

<!--运行hiveserver2服务的主机-->

<property>

<name>hive.server2.thrift.bind.host</name>

<value>node01</value>

</property>

<!--运行hiveserver2服务的用户名-->

<property>

<name>beeline.hs2.connection.user</name>

<value>root</value>

</property><!--运行hiveserver2服务的密码-->

<property>

<name>beeline.hs2.connection.password</name>

<value>123456</value>

</property>

</configuration>

6. 重启HiveServer2服务:

保存并退出 hive-site.xml 文件后,重新启动HiveServer2服务以使更改生效。

相关推荐
小马爱打代码6 分钟前
Elasticsearch简介与实操
大数据·elasticsearch·搜索引擎
zhixingheyi_tian6 小时前
Spark 之 Aggregate
大数据·分布式·spark
PersistJiao6 小时前
Spark 分布式计算中网络传输和序列化的关系(一)
大数据·网络·spark
宅小海9 小时前
scala String
大数据·开发语言·scala
小白的白是白痴的白9 小时前
11.17 Scala练习:梦想清单管理
大数据
java1234_小锋9 小时前
Elasticsearch是如何实现Master选举的?
大数据·elasticsearch·搜索引擎
Java 第一深情13 小时前
零基础入门Flink,掌握基本使用方法
大数据·flink·实时计算
MXsoft61813 小时前
华为服务器(iBMC)硬件监控指标解读
大数据·运维·数据库
PersistJiao14 小时前
Spark 分布式计算中网络传输和序列化的关系(二)
大数据·网络·spark·序列化·分布式计算
九河云14 小时前
如何对AWS进行节省
大数据·云计算·aws