hive3.1.3安装及基本例子

前提要安装好hadoop环境和mysql。

1、下载并解压

https://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

下载bin包到/app/src中。

bash 复制代码
cd /app/src/
tar zxvf apache-hive-3.1.3-bin.tar.gz
mv apache-hive-3.1.3-bin /app/hive

2、配置path

bash 复制代码
nano /etc/profile
export HIVE_HOME=/app/hive
export PATH=$HIVE_HOME/bin:$PATH

3、下载并配置connector-java驱动

下载mysql-connector-java驱动:

https://cdn.mysql.com/archives/mysql-connector-java-8.0/mysql-connector-j-8.0.33.tar.gz

bash 复制代码
cd zxvf mysql-connector-java-8.0.33.tar.gz
cd mysql-connector-java-8.0.33
cp mysql-connector-java-8.0.33-bin.jar /app/hive/lib

4、配置

bash 复制代码
cd /opt/hive/conf
cp hive-env.sh.template hive-env.sh

nano hive-env.sh

增加:

bash 复制代码
HADOOP_HOME=/usr/local/hadoop
nano hive-site.xml 内容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>hive.metastore.warehouse.dir</name>
                <value>/opt/hive/warehouse</value>
                <!-- 注意这里写刚刚新创文件的路径 -->
        </property>
        <property>
                <name>hive.metastore.local</name>
                <value>true</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://127.0.0.1:3306/hiveDB?createDatabaseIfNotExist=true</value>
                <!-- 这里自己搓自己的mysql的ip地址 -->
        </property>
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123123</value>
                <!-- 这里搓自己的mysql账号和密码 -->
				</property>
</configuration>

5、执行命令:

bash 复制代码
schematool -dbType mysql -initSchema

6、启动hdfs

bash 复制代码
start-dfs.sh

通过 hive进入到命令行模式。

7、例子:

bash 复制代码
create database if not exists db1;
use db1;

create table if not exists table1(
eduLevel_name string comment '学历',
company_name string comment '公司名',
jobName string comment '职位名称',
salary int comment '薪资',
city_code int comment '城市编码',
responsibility string comment '岗位职责',
workingExp string comment '工作经验'
)
row format delimited fields terminated by ','
lines terminated by '\n'
stored as textfile;
truncate table table1;
load data local inpath '/root/t1.txt' into table table1;

select avg(salary),workingExp from table1 group by workingExp
相关推荐
无级程序员2 天前
hive2服务启动报错:/tmp/hive on HDFS should be writable(不是chmod 777能解决的)
hive·hadoop·hdfs
rui锐rui2 天前
大数据学习2:HIve
大数据·hive·学习
凌辰揽月2 天前
Servlet学习
hive·学习·servlet
weixin_307779132 天前
Hive集群之间迁移的Linux Shell脚本
大数据·linux·hive·bash·迁移学习
王小王-1233 天前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车
桂成林3 天前
Hive UDF 开发实战:MD5 哈希函数实现
hive·hadoop·哈希算法
王小王-1234 天前
基于Hadoop的餐饮大数据分析系统的设计与实现
hive·hadoop·flask·sqoop·pyecharts·hadoop餐饮大数据分析·hadoop美食数据分析
張萠飛14 天前
hive集群优化和治理常见的问题答案
数据仓库·hive·hadoop
fpcc16 天前
c++26新功能—hive容器
c++·hive
liuze40818 天前
在VMware虚拟机集群中,完成Hive的安装部署
数据仓库·hive·hadoop