hive3.1.3安装及基本例子

前提要安装好hadoop环境和mysql。

1、下载并解压

https://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

下载bin包到/app/src中。

bash 复制代码
cd /app/src/
tar zxvf apache-hive-3.1.3-bin.tar.gz
mv apache-hive-3.1.3-bin /app/hive

2、配置path

bash 复制代码
nano /etc/profile
export HIVE_HOME=/app/hive
export PATH=$HIVE_HOME/bin:$PATH

3、下载并配置connector-java驱动

下载mysql-connector-java驱动:

https://cdn.mysql.com/archives/mysql-connector-java-8.0/mysql-connector-j-8.0.33.tar.gz

bash 复制代码
cd zxvf mysql-connector-java-8.0.33.tar.gz
cd mysql-connector-java-8.0.33
cp mysql-connector-java-8.0.33-bin.jar /app/hive/lib

4、配置

bash 复制代码
cd /opt/hive/conf
cp hive-env.sh.template hive-env.sh

nano hive-env.sh

增加:

bash 复制代码
HADOOP_HOME=/usr/local/hadoop
nano hive-site.xml 内容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>hive.metastore.warehouse.dir</name>
                <value>/opt/hive/warehouse</value>
                <!-- 注意这里写刚刚新创文件的路径 -->
        </property>
        <property>
                <name>hive.metastore.local</name>
                <value>true</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://127.0.0.1:3306/hiveDB?createDatabaseIfNotExist=true</value>
                <!-- 这里自己搓自己的mysql的ip地址 -->
        </property>
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123123</value>
                <!-- 这里搓自己的mysql账号和密码 -->
				</property>
</configuration>

5、执行命令:

bash 复制代码
schematool -dbType mysql -initSchema

6、启动hdfs

bash 复制代码
start-dfs.sh

通过 hive进入到命令行模式。

7、例子:

bash 复制代码
create database if not exists db1;
use db1;

create table if not exists table1(
eduLevel_name string comment '学历',
company_name string comment '公司名',
jobName string comment '职位名称',
salary int comment '薪资',
city_code int comment '城市编码',
responsibility string comment '岗位职责',
workingExp string comment '工作经验'
)
row format delimited fields terminated by ','
lines terminated by '\n'
stored as textfile;
truncate table table1;
load data local inpath '/root/t1.txt' into table table1;

select avg(salary),workingExp from table1 group by workingExp
相关推荐
白日与明月3 天前
Hive-vscode-snippets
hive·hadoop·vscode
Sirius Wu3 天前
Hive的窗口函数
数据仓库·hive·hadoop
シ風箏3 天前
Hive【安装 01】hive-3.1.2版本安装配置(含 mysql-connector-java-5.1.47.jar 网盘资源)
java·hive·mysql
Sirius Wu4 天前
一文说清楚Hive
数据仓库·hive·hadoop·后端
Sirius Wu4 天前
一文说清楚Hive中常用的聚合函数[collect_list]
hive·hadoop·list
sheep85215 天前
HIVE实战处理(二十四)留存用户数
数据仓库·hive·hadoop
码字的字节5 天前
深入解析Hive SQL转MapReduce的编译原理:从AST抽象语法树到Operator执行树
hive·sql·ast·mapreduce·operator
O执O6 天前
JavaWeb笔记四
java·hive·hadoop·笔记·web
杨荧7 天前
基于大数据的旅游推荐系统 Python+Django+Hive+Vue.js
大数据·前端·vue.js·hive·python·开源·旅游
撰卢7 天前
Filter快速入门 Java web
java·前端·hive·spring boot