Hadoop----Hive的使用

1.数据库的安装,通过网上教程,使用yum进行安装即可,一定删除干净,下载与Hive版本对应的MySQL。

2.Hive的安装,在官网下载.tar.gz包解压至对应目录(/export/server),可以根据网上教程进行一定的配置。

3.元数据的初始化,在使用在hive中执行命令,会给MySQL导入一些基本的表于hive3架构

4.连接问题,有直接连接还有使用metastore进行连接,但是一般还要再加上一个hiveserver2对多连接进行一个管理。

以下为基本启动命令:

nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore &

nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service hiveserver2 &

一定要先metastore!

5.报错问题,如果当连接不上hive数据库时,很大可能是mysql的原因:

1.冷静不要慌,重启机器,会有奇迹

2.多看日志,根据错误信息找到问题所在。

org.apache.hadoop.hive.metastore.HiveMetaException: Unknown version specified for initialization: 3.1.0

unknown variable 'max_allower_packet=1024M' 2023-10-08T14:05:31.609520Z 0 ERROR Aborting

Starting MySQL.. ERROR! The server quit without updating PID file (/usr/local/mysql/data/node1.itcast.cn.pid).

3.有可能是因为mysql采集日志时被关闭,可以尝试清除日志,有可能是因为mysql的残留进程还在运行,可以使用kill -9杀死关于mysql的进程,还有许多奇奇怪怪的原因,解决完一个还会有其他的。不过最好用还是重启(原本可以正常运行的情况下)。

相关推荐
骄马之死几秒前
JVM 核心知识
java·jvm
TDengine (老段)3 分钟前
TDengine SQL 解析与词法分析 — 从字符串到 AST 的转换之路
大数据·数据库·sql·物联网·时序数据库·tdengine·涛思数据
好家伙VCC4 分钟前
Rust+Bioinfo:80ms极速SNP注释引擎
java·开发语言·算法·rust
段一凡-华北理工大学11 分钟前
工业领域的Hadoop架构学习~系列文章19:能源行业Hadoop应用实践
大数据·人工智能·hadoop·分布式·学习·架构·高炉炼铁
ANnianStriver13 分钟前
PetLumina-AI 驱动的宠物生活管理平台
java·生活·vue3·springboot·ai编程·宠物·全栈开发
Java面试题总结15 分钟前
Python 文件基本操作
大数据·人工智能·python
Dontla16 分钟前
.gitkeep文件作用(让Git追踪空目录,使该目录能被纳入版本控制)!.gitkeep
大数据·git·elasticsearch
好家伙VCC17 分钟前
Delta Lake + Flink 实现近实时数据湖 Schema 演化
java·大数据·flink
hoho_1219 分钟前
如何替换jar包中依赖的其他jar
java·pycharm·jar
实在智能RPA19 分钟前
RPA-Agent的自主规划边界在哪里?——2026:从指令执行到目标驱动的技术跨越
大数据·人工智能·ai·rpa