Hadoop----Hive的使用

1.数据库的安装,通过网上教程,使用yum进行安装即可,一定删除干净,下载与Hive版本对应的MySQL。

2.Hive的安装,在官网下载.tar.gz包解压至对应目录(/export/server),可以根据网上教程进行一定的配置。

3.元数据的初始化,在使用在hive中执行命令,会给MySQL导入一些基本的表于hive3架构

4.连接问题,有直接连接还有使用metastore进行连接,但是一般还要再加上一个hiveserver2对多连接进行一个管理。

以下为基本启动命令:

nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore &

nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service hiveserver2 &

一定要先metastore!

5.报错问题,如果当连接不上hive数据库时,很大可能是mysql的原因:

1.冷静不要慌,重启机器,会有奇迹

2.多看日志,根据错误信息找到问题所在。

org.apache.hadoop.hive.metastore.HiveMetaException: Unknown version specified for initialization: 3.1.0

unknown variable 'max_allower_packet=1024M' 2023-10-08T14:05:31.609520Z 0 ERROR Aborting

Starting MySQL.. ERROR! The server quit without updating PID file (/usr/local/mysql/data/node1.itcast.cn.pid).

3.有可能是因为mysql采集日志时被关闭,可以尝试清除日志,有可能是因为mysql的残留进程还在运行,可以使用kill -9杀死关于mysql的进程,还有许多奇奇怪怪的原因,解决完一个还会有其他的。不过最好用还是重启(原本可以正常运行的情况下)。

相关推荐
kakawzw4 分钟前
mybatis源码笔记1——JDBC和整体架构
java·mybatis
sunshine22 girl4 分钟前
Java学习一 环境配置1 安装JDK,配置环境变量
java·开发语言·学习
秋饼7 分钟前
Spring AI Session API 深度实战:从 ChatMemory 平滑迁移到事件溯源的企业级短期记忆
java·ai·技术分享·后端开发
fastjson_9 分钟前
Spark 安装和使用
大数据·分布式·spark
QCodingDev11 分钟前
Spring AI 2.0企业级RAG实战:引用校验、无依据拒答与知识治理怎么做?
java·人工智能·spring·ai
吴声子夜歌12 分钟前
ApacheCommons——commons-math3(科学计算与线性代数)(一)
java·线性代数·算法·apache
计算机源码社13 分钟前
分享一个基于大数据的跨平台内容生态画像与互动等级分析系统,基于Hadoop+Spark的社交媒体互动数据可视化大屏分析
大数据·hadoop·python·机器学习·数据挖掘·spark·毕业设计
Zenova EdgeOS20 分钟前
储能项目 BOT 模式演变:从单一建设到全周期运营的多元路径
大数据·人工智能
砚底藏山河20 分钟前
行情工程实战 M01|存储选型 CSVSQLiteMySQL
java·python·金融·maven
YangYang9YangYan24 分钟前
2027 届秋招平台运营岗位备考|基于 2026 校招 JD、面经的求职准备手册
大数据