数据湖仓一体(四)安装hive

上传安装包到/opt/software目录并解压

bash 复制代码
[bigdata@node106 software]$ tar -zxvf hive-3.1.3-with-spark-3.3.1.tar.gz -C /opt/services
[bigdata@node106 services]$ mv apache-hive-3.1.3-bin apache-hive-3.1.3   

配置环境变量

bash 复制代码
export HIVE_HOME=/opt/services/apache-hive-3.1.3
export $PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZK_HOME/bin:$KAFKA_HOME/bin:$SEA_HOME/bin:$HIVE_HOME/bin

分发环境变量

bash 复制代码
[bigdata@node106 bin]$ sudo ./bin/xsync /etc/profile.d/bigdata_env.sh 

刷新环境变量,5台机器上执行

bash 复制代码
[bigdata@node106 ~]$ source /etc/profile

上传mysql驱动包到hive的lib目录下

bash 复制代码
[bigdata@node106 software]$ cp mysql-connector-java-8.0.18.jar /opt/services/apache-hive-3.1.3/lib/ 

解决jar包冲突

bash 复制代码
[bigdata@node106 ~]$ mv $HIVE_HOME/lib/log4j-slf4j-impl-2.17.1.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.17.1.jar.bak 

配置hive-site.xml文件

XML 复制代码
<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://node106:3306/metastore?useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;allowPublicKeyRetrieval=true</value>
	</property>
	<!-- jdbc 连接的 Driver-->
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<!-- jdbc 连接的 username-->
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>	
	<!-- jdbc 连接的 password -->
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>123456</value>
	</property>
	<!-- Hive 元数据存储版本的验证 -->
	<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
	</property>
	<!--元数据存储授权-->
	<property>
		<name>hive.metastore.event.db.notification.api.auth</name>
		<value>false</value>
	</property>
	<!-- Hive 默认在 HDFS 的工作目录 -->
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive/warehouse</value>
	</property>
	<!-- 显示表头 -->
	<property>
    	<name>hive.cli.print.header</name>
		<value>true</value>
	</property>
	<!-- 显示当前库 -->
	<property>
    	<name>hive.cli.print.current.db</name>
		<value>true</value>
	</property>
	<!-- 配置元数据远程连接地址 -->
	<property>  
		<name>hive.metastore.uris</name>
		<value>thrift://node106:9083</value>  
	</property>
	<property>
			<name>hive.server2.thrift.port</name>
			<value>10000</value>
	</property>
	<property>
			<name>hive.server2.thrift.bind.host</name>
			<value>node106</value>
	</property>
	<property>
			<name>hive.users.in.admin.role</name>
			<value>bigdata</value>
	</property>	  
	<property>
			<name>hive.security.authorization.enabled</name>
			<value>false</value>
	</property>	
	<property>
	    <name>hive.execution.engine</name>
	    <value>mr</value>
	</property> 

配置日志文件

bash 复制代码
[bigdata@node106 conf]$ cp hive-exec-log4j2.properties.template  hive-exec-log4j2.properties
[bigdata@node106 conf]$ cp hive-log4j2.properties.template hive-log4j2.properties

修改hive-log4j2.properties,添加日志目录

bash 复制代码
property.hive.log.dir = /opt/services/apache-hive-3.1.3/logs

编辑hive-env.sh

bash 复制代码
[bigdata@node106 conf]$ cp hive-env.sh.template hive-env.sh
[bigdata@node106 conf]$ vim hive-env.sh
bash 复制代码
export HADOOP_HEAPSIZE=1024

创建元数据库

bash 复制代码
[bigdata@node106 conf]$ mysql -uroot -p'123456'
mysql>  create database if not exists metastore  DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; 

初始化元数据库

bash 复制代码
[bigdata@node106 bin]$ schematool -initSchema -dbType mysql -verbose 

修改编码集,解决乱码问题

bash 复制代码
mysql>  alter table DBS convert to character set utf8;                 
mysql>  alter table COLUMNS_V2 character set utf8;                 
mysql>  alter table COLUMNS_V2 change COMMENT COMMENT  varchar(256) character set utf8;                                     
mysql>  alter table TABLE_PARAMS change PARAM_VALUE    PARAM_VALUE mediumtext character set utf8;                       
mysql>  alter table PARTITION_KEYS change PKEY_COMMENT  PKEY_COMMENT varchar(4000) character set utf8;                    
mysql>  alter table PARTITION_KEYS character set utf8;  

编写hive.sh脚本

bash 复制代码
[bigdata@node106 bin]$ vim  hive.sh 
bash 复制代码
#!/bin/bash
echo ==================== 启动hive服务 =========================
echo ==================== 启动metastore服务 ====================
ssh node106 "nohup $HIVE_HOME/bin/hive --service metastore > $HIVE_HOME/logs/metastore.log 2>&1 &"
echo ==================== 启动hiveservice2服务 =================
ssh node106 "nohup $HIVE_HOME/bin/hive --service hiveserver2 > $HIVE_HOME/logs/hiveservice2.log 2>&1 &"

授权hive.sh

bash 复制代码
[bigdata@node106 bin]$ chmod +x hive.sh 

分发hive.sh

bash 复制代码
[bigdata@node106 bin]$ xsync  hive.sh

copy到其他机器

bash 复制代码
[bigdata@node107 bin]$ scp -r bigdata@node106:/opt/services/apache-hive-3.1.3/ /opt/services/apache-hive-3.1.3/                          
[bigdata@node108 bin]$ scp -r bigdata@node106:/opt/services/apache-hive-3.1.3/ /opt/services/apache-hive-3.1.3/

启动hive

bash 复制代码
[bigdata@node106 bin]$ hive.sh start 
相关推荐
JessieZeng aaa2 小时前
CSV文件数据导入hive
数据仓库·hive·hadoop
Java 第一深情4 小时前
零基础入门Flink,掌握基本使用方法
大数据·flink·实时计算
MXsoft6184 小时前
华为服务器(iBMC)硬件监控指标解读
大数据·运维·数据库
PersistJiao5 小时前
Spark 分布式计算中网络传输和序列化的关系(二)
大数据·网络·spark·序列化·分布式计算
九河云5 小时前
如何对AWS进行节省
大数据·云计算·aws
FreeIPCC6 小时前
谈一下开源生态对 AI人工智能大模型的促进作用
大数据·人工智能·机器人·开源
梦幻通灵6 小时前
ES分词环境实战
大数据·elasticsearch·搜索引擎
Elastic 中国社区官方博客6 小时前
Elasticsearch 中的热点以及如何使用 AutoOps 解决它们
大数据·运维·elasticsearch·搜索引擎·全文检索
天冬忘忧7 小时前
Kafka 工作流程解析:从 Broker 工作原理、节点的服役、退役、副本的生成到数据存储与读写优化
大数据·分布式·kafka
sevevty-seven7 小时前
幻读是什么?用什么隔离级别可以防止幻读
大数据·sql