使用Apache Hive进行大数据分析的关键配置详解

Apache Hive是一个在Hadoop上构建的数据仓库工具,它允许用户通过类似SQL的语言(HiveQL)进行数据查询和分析。在使用Hive进行大数据分析之前,需要配置一些重要的参数以确保系统正常运行并满足特定需求。本文将重点介绍Apache Hive的关键配置属性,涵盖了元数据存储、临时目录、日志设置以及HiveServer2连接等方面。

1. 元数据存储配置

Apache Hive使用元数据存储来管理表定义、分区、列统计等信息。配置元数据存储的关键属性如下:

  • javax.jdo.option.ConnectionURL: 设置连接到元数据存储(如MySQL)的URL,包括数据库地址、端口、数据库名称等信息。
  • javax.jdo.option.ConnectionDriverName: 指定用于连接元数据存储的JDBC驱动程序类名。
  • javax.jdo.option.ConnectionUserNamejavax.jdo.option.ConnectionPassword: 指定连接到元数据存储所需的用户名和密码。

2. Hive执行过程设置

在执行查询和分析过程中,Hive可能会生成临时数据和日志。以下是与执行过程相关的配置属性:

  • hive.exec.local.scratchdir: 指定Hive执行过程中的临时目录。
  • hive.querylog.locationhive.server2.logging.operation.log.location: 分别设置Hive查询和操作日志的存储位置。
  • hive.downloaded.resources.dir: 设置远程资源下载的临时目录。

3. Hive表数据存储配置

Hive表中存储的数据需要指定存放位置的配置:

  • hive.metastore.warehouse.dir: 指定Hive表数据存储的根目录。

4. HiveServer2连接设置

HiveServer2是Hive提供的服务,用于允许远程客户端连接和执行查询。以下是HiveServer2连接相关的属性:

  • hive.metastore.uris: 指定Hive元数据服务的URI,用于请求远程存储的元数据。
  • hive.server2.thrift.porthive.server2.thrift.bind.host: 分别指定HiveServer2的端口号和运行HiveServer2服务的主机。
  • beeline.hs2.connection.userbeeline.hs2.connection.password: 用于Beeline连接到HiveServer2所需的用户名和密码。

5. hive配置实例

xml 复制代码
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<!--元数据连接字符串,使用MySQL存储元数据信息-->

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://node01:3306/metastore?

createDatabaseIfNoExitst=true&useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieva

l=true</value>

</property>

<!--元数据连接驱动类名-->

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.cj.jdbc.Driver</value>

</property>

<!--元数据连接时的用户名-->

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value></property>

<!--元数据连接时的用户密码-->

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

</property>

<!--HDFS路径,Hive使用该目录存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果。-->

<property>

<name>hive.exec.local.scratchdir</name>

<value>/hive/tmp</value>

</property>

<!--HDFS路径,元数据库位置-->

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/hive/warehouse</value>

</property>

<!--本地路径,Hive查询日志所在的目录,如果该值为空,将不创建查询日志-->

<property>

<name>hive.querylog.location</name>

<value>/tmp/hive/logs</value>

</property>

<!--本地路径,Hive操作日志-->

<property>

<name>hive.server2.logging.operation.log.location</name>

<value>/tmp/hive/logs</value>

</property>

<!--本地路径,远程资源下载的临时目录-->

<property>

<name>hive.downloaded.resources.dir</name>

<value>/tmp/hive/resources</value>

</property>

<!--目标元数据库,Hive连接到该URI,请求远程存储的元数据。-->

<property>

<name>hive.metastore.uris</name>

<value>thrift://node01:9083</value>

</property>

<!--hiveserver2服务默认的端口号-->

<property>

<name>hive.server2.thrift.port</name>

<value>10000</value>

</property>

<!--运行hiveserver2服务的主机-->

<property>

<name>hive.server2.thrift.bind.host</name>

<value>node01</value>

</property>

<!--运行hiveserver2服务的用户名-->

<property>

<name>beeline.hs2.connection.user</name>

<value>root</value>

</property><!--运行hiveserver2服务的密码-->

<property>

<name>beeline.hs2.connection.password</name>

<value>123456</value>

</property>

</configuration>

6. 重启HiveServer2服务:

保存并退出 hive-site.xml 文件后,重新启动HiveServer2服务以使更改生效。

相关推荐
zmd-zk2 分钟前
kafka+zookeeper的搭建
大数据·分布式·zookeeper·中间件·kafka
激流丶4 分钟前
【Kafka 实战】如何解决Kafka Topic数量过多带来的性能问题?
java·大数据·kafka·topic
测试界的酸菜鱼21 分钟前
Python 大数据展示屏实例
大数据·开发语言·python
时差95323 分钟前
【面试题】Hive 查询:如何查找用户连续三天登录的记录
大数据·数据库·hive·sql·面试·database
Mephisto.java25 分钟前
【大数据学习 | kafka高级部分】kafka中的选举机制
大数据·学习·kafka
Mephisto.java31 分钟前
【大数据学习 | kafka高级部分】kafka的优化参数整理
大数据·sql·oracle·kafka·json·database
道可云32 分钟前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
成都古河云44 分钟前
智慧场馆:安全、节能与智能化管理的未来
大数据·运维·人工智能·安全·智慧城市
软工菜鸡1 小时前
预训练语言模型BERT——PaddleNLP中的预训练模型
大数据·人工智能·深度学习·算法·语言模型·自然语言处理·bert
武子康2 小时前
大数据-212 数据挖掘 机器学习理论 - 无监督学习算法 KMeans 基本原理 簇内误差平方和
大数据·人工智能·学习·算法·机器学习·数据挖掘