MacbookPro M1 安装Hive

前提注意⚠️⚠️⚠️

1)在安装Hive前确实需要安装MySQL,因为Hive可以使用MySQL作为元数据存储

2)在安装Hive之前,需要先安装Hadoop。Hive是一个构建在Hadoop之上的数据仓库软件,它使用Hadoop的HDFS(分布式文件系统)来存储数据,使用MapReduce来处理数据。

一:下载hive的安装包

下载链接:Index of /dist/hive,解压即可

二:配置相关文件

1.配置全局变量

输入:nano ~/.zshrc ,进行如下配置,并source ~/.zshrc使之生效

查看全局变量是否配置成功 输入hive --version,如示即可

2.配置hive与Mysql的连接信息

  1. 在mysql中建立hive的数据库,如示:
  1. 在hive的conf文件夹下新建hive-site.xml,内容如下:
  1. 将 Mysql 的 驱动 复制 到 Hive 的/lib 目录下:

4)输入命令schematool -dbType mysql -initSchema -verbose,初始化 Hive 数据库 为 Mysql 存储

三:运行hive

前提:启动mysql,hadoop

1.启动hiveserver2

hive --service hiveserver2 如图所示:

2.查看网页端 http://localhost:10002/

3.另起一个终端输入beeline -u jdbc:hive2:// 或者beeline -u jdbc:hive2://本机IP地址:10000 -n root

即可登录成功,如图所示:

四:DBeaver连接到hive

问题: 尝试连接出现报错Required field 'serverProtocolVersion' is unset!

解决:

找到 hadoop下 /etc/hadoop/core-site.xml ,其中加上以下内容,如示:

再次返回连接,DBeaver就会连接成功hive

小知识扩展:

ProxyUser是一种用户代理机制。在Hadoop中,某些操作需要特定的权限,如果一个用户(代理用户)需要代表另一个用户(目标用户)来执行这些操作,ProxyUser机制将会非常有用。这种做法使得用户在不直接暴露目标用户凭证的情况下,安全地执行任务。

ProxyUser的工作原理:

相关推荐
一个数据大开发2 小时前
数据资产价值及其实现路径-简答题回顾
大数据·数据仓库·数据
viperrrrrrrrrr74 小时前
大数据学习(112)-HIVE中的窗口函数
hive·sql·学习
酷爱码10 小时前
如何通过python连接hive,并对里面的表进行增删改查操作
开发语言·hive·python
Debug_TheWorld12 小时前
Hive学习
hive
weixin_3077791315 小时前
Azure Data Factory ETL设计与调度最佳实践
数据仓库·性能优化·云计算·azure·etl
元63317 小时前
spark和hadoop之间的对比和联系
大数据·hadoop·spark
哥不是小萝莉19 小时前
Hadoop和Spark大数据挖掘与实战
hadoop·ai·spark
lix的小鱼21 小时前
spark和Hadoop之间的对比和联系
大数据·hadoop·spark
晴天彩虹雨1 天前
Flink 数据清洗与字段标准化最佳实践
大数据·数据仓库·flink
TTBIGDATA1 天前
如何将 Apache Hudi 接入 Ambari?完整部署与验证指南
大数据·hadoop·ambari·hudi·bigtop·湖仓·自定义组件集成