Hadoop——Hive运行环境搭建

Windows:10 JDK:1.8 Apache Hadoop:2.7.0

Apache Hive:2.1.1 Apache Hive src:1.2.2 MySQL:5.7

1、下载

Hadoop搭建

Apache Hive 2.1.1:https://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

Apache Hive 1.2.2 src:https://archive.apache.org/dist/hive/hive-1.2.2/apache-hive-1.2.2-src.tar.gz

MySQL驱动下载:MySQL :: Begin Your Download或使用我下载好的(百度网盘 提取码:1024)

这里是以我安装版本,搭建操作都是一样的。

2、Hadoop和Hive版本

注意:Hive中对应的Hive版本最好不要比你安装的Hadoop版本高。

可以在解压后的Hive src中的pom.xml文件中查看:

3、Mysql驱动配置

将下载好的MySQL驱动解压,将mysql-connector-java-5.1.46目录下的mysql-connector-java-5.1.46-bin.jar复制到apache-hive-2.1.1-bin\lib目录下。

4、配置变量

HIVE_HOME:

PATH:

注意:以自己存放路径为准,E:\hadoop\..只是我自己的存放位置,下面相关路径操作同理。

5、修改配置文件名

找到apache-hive-2.1.1-bin\conf目录下的4个文件,重命名:

hive-default.xml.template -----> hive-site.xml

hive-env.sh.template -----> hive-env.sh

hive-exec-log4j.properties.template -----> hive-exec-log4j2.properties

hive-log4j2.properties.template -----> hive-log4j2.properties

6、创建目录

\apache-hive-2.1.1-bin\my_hive

\apache-hive-2.1.1-bin\my_hive\operation_logs_dir

\apache-hive-2.1.1-bin\my_hive\querylog_dir

\apache-hive-2.1.1-bin\my_hive\resources_dir

\apache-hive-2.1.1-bin\my_hive\scratch_dir

7、修改配置

修改hive-env.sh

修改hive-site.xml

四个新建文件路径配置:

连接数据库相关配置:

账号是否为root,密码是否为123456,端口是否为3306,如果不一样,就需要更改。

注意:useSSL=false要放最后,不然后面启动hive metastore服务会报错

8、在Hadoop上创建HDFS目录

hdfs dfs -mkdir -p /tmp

hdfs dfs -mkdir -p /user/hive/warehouse

hdfs dfs -chmod 777 /tmp

hdfs dfs -chmod 777 /user/hive/warehouse

9、创建数据库

10、启动Hadoop

到Hadoop的sbin目录下右键管理员身份运行start-all.cmd,或命令运行:start-all.cmd

11、启动hive metastore服务

以管理员身份打开cmd,目录切换到\apache-hive-2.1.1-bin\bin,输入命令:hive --service schematool -dbType mysql -initSchema

使用命令hive --service metastore的启动方式不适合Windows

如果在mysql中hive表中出现下图中许多表的情况,则说明开启成功。

只需要在第一次启动,之后再使用Hive就不需要再启动,可跳过这个阶段。

12、启动hive

以管理员身份打开cmd,目录切换到\apache-hive-2.1.1-bin\bin,输入命令:hive.cmd

尝试建一个表:create table stu(id int, name string),如果创建成功可以在管理界面看见:

相关推荐
木圭的AI时代指南10 小时前
Spark-X2.5 长输入 Agent 实测:全量读取陷阱与解释器寻找死循环复盘,附可复现任务
大数据·分布式·spark
dongsdh11 小时前
部署python
大数据·elasticsearch·搜索引擎
QYR-分析11 小时前
重轨受电弓行业深度报告:市场格局、技术迭代与发展前景
大数据·数据库·人工智能
镜像视界(浙江)科技有限公司12 小时前
《视频孪生之上:二维展示终结,三维空间计算重构城市逻辑》——跨摄像连续表达 × 三角测量厘米级定位 × 动态轨迹建模,构建新一代城市空间
大数据·人工智能·算法·矩阵·音视频·空间计算
大大大大晴天12 小时前
每天认识一个组件:元数据平台 DataHub
大数据
m0_5474866612 小时前
《大数据分析导论》全套PPT课件2026
大数据·大数据分析
starzy199013 小时前
Flink高级之CEP深度剖析:Pattern API、NFA引擎与风控实战
大数据·flink
星禾元亨15 小时前
生成式 AI 时代的架构演进与 GEO 优化:实体企业 AI 落地避坑指南
大数据·人工智能·架构·自动化·创业创新
IT毕设实战小研15 小时前
基于大数据的国内主要农作物产量趋势分析与可视化
android·java·大数据·django·课程设计
OFIRM碳基硅基16 小时前
西游金蝉劫 IP · 之 《金蝉子前传渡缘劫》电影 20 亿票房触发 · 项目专项扶持协议 总览 拉格朗日光影动画-西游金蝉劫项目组
大数据·人工智能·西游金蝉劫·蝎子精·蝎子精女妖王·金蝉子前传渡缘劫