在kali linux中配置hive(mysql元数据库)


一、MySQL 配置

1. 清除原有 MariaDB
bash 复制代码
# 删除原有的mariadb数据库,要不然安装mysql会有冲突
sudo apt remove --purge mariadb-* --fix-missing
# 清除相关文件
sudo apt autoremove -y
# 手动清除
sudo rm -rf /var/lib/mysql/
sudo rm -rf /etc/mysql/
2. 下载并安装 MySQL
bash 复制代码
# 下载mysql安装包,由于kali linux不支持从apt中下载mysql
sudo wget https://repo.mysql.com//mysql-apt-config_0.8.33-1_all.deb

# 添加mysql下载索引
sudo dpkg -i mysql-apt-config_0.8.33-1_all.deb
# 执行命令后出现安装界面选择ubuntu noble
# 选择mysql-8.4-lts版本

# 更新apt软件包索引
sudo apt update

# 下载mysql
sudo apt install mysql-community-server --fix-missing
# 下载完会出现root密码输入界面
3. 启动服务并创建 Hive 用户
bash 复制代码
# 开机自启
sudo systemctl enable mysql

# 启动服务
sudo systemctl start mysql
sql 复制代码
-- 登录 MySQL
sudo mysql -u root -p

-- 创建数据库和用户
CREATE DATABASE hive_metastore;
CREATE USER 'hiveuser'@'localhost' IDENTIFIED BY '123';
GRANT ALL PRIVILEGES ON hive_metastore.* TO 'hiveuser'@'localhost';
FLUSH PRIVILEGES;
EXIT;

二、Hive 配置

1. 下载解压 Hive
bash 复制代码
# 下载hive
sudo wget https://dlcdn.apache.org/hive/hive-4.0.1/apache-hive-4.0.1-bin.tar.gz
# 解压hive
sudo tar -xzvf apache-hive-4.0.1-bin.tar.gz
# 重命名hive
mv apache-hive-4.0.1-bin  hive-4.0.1                                  
2. 配置环境变量
bash 复制代码
# 编辑 ~/.bashrc
echo 'export HIVE_HOME=/soft/hive-4.0.1' >> ~/.zshrc
echo 'export PATH=$PATH:$HIVE_HOME/bin' >> ~/.zshrc
source ~/.zshrc
3. 配置 hive-site.xml和hive-env.sh
bash 复制代码
cd $HIVE_HOME/conf
cp hive-default.xml.template hive-site.xml

# 清空原内容并添加以下配置
cat > hive-site.xml <<EOF
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

  <!-- 连接元数据库的配置 -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive_metastore?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hiveuser</value>
    <description>Username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123</value>
    <description>Password to use against metastore database</description>
  </property>

  <!-- Hive数据在HDFS上的存储路径 -->
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    <description>Location of default database for the warehouse</description>
  </property>

  <!-- Hive临时目录配置 -->
  <property>
    <name>hive.exec.scratchdir</name>
    <value>/user/hive/tmp</value>
  </property>
</configuration>
EOF
bash 复制代码
cp hive-env.sh.template hive-env.sh 

echo 'export HADOOP_HOME=/soft/hadoop-3.4.1/ ' >> ./hive-env.sh 
echo 'export HIVE_CONF_DIR=/soft/hive-4.0.1/conf/' >> ./hive-env.sh 
4. 安装 MySQL JDBC 驱动
bash 复制代码
# 查看驱动安装包
sudo apt list | grep mysql
# 下载驱动
sudo apt install mysql-connector-j
# 将驱动包复制到$HIVE_HOME/lib下(/usr/share/java/)
# or使用updatedb→locate 文件名
# or使用sudo find / -name 文件名
cp /usr/share/java/mysql-connector-j-9.2.0.jar $HIVE_HOME/lib
5. 指定代理用户
bash 复制代码
# 进入hadoop的core-site.xml文件添加以下内容
# 目的是能安全正常连接beeline并使用
  <property>
    <name>hadoop.proxyuser.wgs.hosts</name>
    <value>*</value> <!-- HiveServer2 所在主机,* 表示所有 -->
  </property>
  <property>
    <name>hadoop.proxyuser.wgs.groups</name>
    <value>*</value> <!-- 允许代理的用户组,* 表示所有 -->
  </property>
  <property>
    <name>hadoop.proxyuser.wgs.users</name>
    <value>*</value> <!-- 允许代理的具体用户,* 表示所有(含 wgs) -->
  </property>

三、Hadoop 服务启动

bash 复制代码
# 启动 Hadoop 集群(需已安装 Hadoop)
start-dfs.sh
start-yarn.sh

# 创建目录为hive存放数据
hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /user/hive/tmp

四、初始化与启动

bash 复制代码
# 初始化元数据库
schematool -dbType mysql -initSchema

# 启动 Hive 服务
hiveserver2

# 连接beeline
beeline -u jdbc:hive2://hadoop:10000 -n wgs

五、测试验证

sql 复制代码
-- 在 Hive CLI 中执行
SHOW DATABASES;
CREATE TABLE test(id INT);
INSERT INTO test VALUES(1);
SELECT * FROM test;

相关推荐
Elastic 中国社区官方博客8 分钟前
Elasticsearch 堆内存使用情况和 JVM 垃圾回收
大数据·jvm·数据库·elasticsearch·搜索引擎·全文检索
李菠菜25 分钟前
Linux系统分区最佳实践
linux
涛思数据(TDengine)29 分钟前
时序数据库 TDengine 助力石油石化业务, 平滑接替 Oracle 数据库
数据库·时序数据库·tdengine
学术小八35 分钟前
穿越链路的旅程:深入理解计算机网络中的数据链路层
linux·服务器·网络
三体世界42 分钟前
Linux 管道理解
linux·c语言·开发语言·c++·git·vscode·visual studio
elastic_solr1 小时前
医药采购系统平台第10天02:按药品分类的统计&按供货商统计&按医院统计&统计数据的导出&DWR的配置和应用
大数据·数据库
茉莉玫瑰花茶1 小时前
socket编程基础
linux·服务器·网络
LouisCanBe1 小时前
Python 环境管理工具选择与安装实践:Conda 与 uv
linux·python
桦02 小时前
Linux[指令与权限]
linux·运维·服务器
一勺菠萝丶2 小时前
VMware中CentOS 7虚拟机设置固定IP(NAT模式)完整教程
linux·tcp/ip·centos