五、安装配置hive

1.安装Mysql

复制代码
su root
#更新密钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
#安装Mysql yum库
rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm
#yum安装Mysql
yum -y install mysql-community-server
#启动Mysql设置开机启动
systemctl start mysqld
systemctl enable mysqld
#检查Mysql服务状态
systemctl status mysqld
#第一次启动mysql,会生成root用户的一个随机密码。使用下面命令查看密码
grep 'temporary password' /var/log/mysqld.log
#使用数据库密码进入数据库
mysql -u root -p
#设置简单密码、需要降低mysql密码安全级别
set global validate_password_policy=LOW;
set global validate_password_length=4;
#使用简单密码
#本地密码
ALTER USER 'root'@'localhost' IDENTIfIED BY 'root';
#远程密码
grant all privileges on *.* to root@"%" identified by 'root' with grant option;
flush privileges;

mysq启动成功

查看密码

修改密码后重新登录

2.配置Hadoop(cd /export/server/hadoop/etc/hadoop)

vim core-site.xml

添加以下内容

复制代码
 		<property>
                <name>hadoop.proxyuser.hadoop.hosts</name>
                <value>*</value>
        </property>
         <property>
                <name>hadoop.proxyuser.hadoop.groups</name>
                <value>*</value>
        </property>

3.安装Hive

3-1、安装Hive包

步骤一:切换到root用户

复制代码
su root

步骤二:下载Hive安装包

注意:资料里面已经下载好了,直接cd 到 ~根目录拉拽上传

复制代码
http://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

步骤三:解压到第一台服务器:/export/server/内

复制代码
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/

步骤四:设置软链接(cd /export/server)

复制代码
ln -s /export/server/apache-hive-3.1.3-bin /export/server/hive
3-2、配置hive的hive-env.sh文件

(1)将/export/server/hive/conf/hive-env.sh.template文件修改为hive-env.sh文件

cd /export/server/hive/conf/

vim hive-env.sh

复制代码
mv hive-env.sh.template hive-env.sh

在hive的conf目录内。hive-env.sh文件添加以下内容

复制代码
vim hive-env.sh

在第一行添加以下内容

复制代码
export HADOOP_HOME=/export/server/hadoop
export HIVE_CONF_DIR=/export/server/hive
export HIVE_AUX_JARS_PATH=/export/server/hive/lib
3-2.安装Mysql驱动包

步骤一:下载Mysql驱动包

复制代码
https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar

步骤二:cd ~ ,将下载好的驱动包,放入Hive安装文件夹的lib目录内

复制代码
mv mysql-connector-java-5.1.34.jar /export/server/hive/lib/
3-3、配置hive的hive-site.xml文件,填入以下内容
复制代码
cd /export/server/hive/conf
vim hive-site.xml

<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>root</value>
	</property>
	<property>
		<name>hive.server2.thrift.bind.host</name>
		<value>hadoop01</value>
	</property>
	<property>
		<name>hive.metastore.uris</name>
		<value>thrift://hadoop01:9083</value>
	</property>
	<property>
		<name>hive.metastore.event.db.notification.api.auth</name>
		<value>false</value>
	</property>
</configuration>
3-4、初始化元数据库
复制代码
1.进入数据库
mysql -uroot -p
2.创建hive数据库
create database hive charset utf8;
3.退出数据库
quit;
3-5、执行元数据库初始化命令
复制代码
1.cd ../ 到hive文件夹
cd /export/server/hive/bin
2.找到/bin/schemattool执行初始化命令
./schematool -initSchema -dbType mysql -verbos
3-6、进入mysql中验证
复制代码
命令
mysql -uroot -p
show databases;
use hive;
show tables;

4.启动hive

4.1、将/export/server中hive的权限修改成hadoop

复制代码
cd /export/server
chown -R hadoop:hadoop apache-hive-3.1.3-bin hive
4.2、切换到hadoop用户
复制代码
1.切换到hadoop
su hadoop
2.进入/export/server/hive
cd /export/server/hive
3.创建logs文件夹
mkdir logs
4.3、启动服务
复制代码
1.启动元数据管理服务(必须启动)

后台启动 
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
前台启动
bin/hive --service metastore

2.启动客户端
cd 到/export/server/hive输入bin/hive启动hive
(1)
cd /export/server/hive
(2)
bin/hive
3.使用mysql命令操作hive
show databases;
相关推荐
tsyjjOvO1 天前
SpringMVC 从入门到精通
数据仓库·hive·hadoop
Francek Chen2 天前
【大数据存储与管理】分布式数据库HBase:05 HBase运行机制
大数据·数据库·hadoop·分布式·hdfs·hbase
zzzzzwbetter2 天前
Hadoop完全分布式部署-Master的NameNode以及Slaver2的DataNode未启动
大数据·hadoop·分布式
weixin_449310842 天前
ETL转换和数据写入小满OKKICRM的技术细节
数据仓库·php·etl
IvanCodes2 天前
Hive IDE连接及UDF实战
ide·hive·hadoop
yumgpkpm2 天前
华为昇腾910B 开源软件GPUStack的介绍(Cloudera CDH、CDP)
人工智能·hadoop·elasticsearch·flink·kafka·企业微信·big data
lifewange3 天前
Hive数据库
数据库·hive·hadoop
五月天的尾巴4 天前
hive数据库模糊查询表名
hive·查询表名
蓝魔Y4 天前
hive—1.1、执行优化
hive
快乐非自愿4 天前
OpenClaw 生态适配:Hadoop/Hive 技能现状与企业级集成方案
大数据·hive·hadoop·分布式·openclaw