大数据Hadoop系列——在ubuntu上安装Hive 嵌入式

安装环境

⚫ 虚拟机系统:CentOS7

⚫ Hadoop 安装模式:伪分布式(单节点)

⚫ Hive 安装模式:嵌入模式

⚫ 安装包:

Hive(3.1.3)

https://dlcdn.apache.org/hive/

安装步骤

(1) 安装

解压 Hive 安装包

tar -zxvf apache-hive-3.1.3-bin.tar.gz

打开文件重命名

移动到/usr/local 路径下并命名

sudo mv hive-3.1.3 /usr/local/

(2) 配置环境变量

在**/etc/profile.d 路径** 下新建 hive.sh 脚本文件在文件中添加 HIVE_HOME 变量并将其添加到 PATH 变量中,后 export 这

两个变量。

sudo vim /etc/profile

在最下面添加

HIVE_HOME=/usr/local/hive-3.1.3

PATH=HIVE_HOME/bin:PATH

export HIVE_HOME PATH

更新环境变量

source /etc/profile

测试是否配置成功**(需要提前启动 hdfs)**

hive

(3) Hive 配置文件

进入**/usr/local/hive-3.1.3 /conf/** 路径下

将 hive-env.sh.template 复制一份并命名为 hive-env.sh

cp hive-env.sh.template hive-env.sh

编辑 hive-env.sh 进行配置

Set HADOOP_HOME to point to a specific hadoop install directory

HADOOP_HOME=/usr/local/hadoop-2.10.1

Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/usr/local/hive-3.1.3/conf

找到"# HADOOP_HOME="开头的一行,去掉行首的"#",后配置为

Hadoop 的安装路径

找到"# HIVE_CONF_DIR="开头的一行,去掉行首的"#",后配置为

Hive 按照文件下的 conf 路径(/usr/local/hive-3.1.3 /conf/ )

在**/usr/local/hive-3.1.3/conf/** 路径下新建 hive-site.xml 并编辑

根据自己的实际hostname进行 编辑

vim hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:derby:;databaseName=metastore_db;create=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>org.apache.derby.jdbc.EmbeddedDriver</value>

</property>

<property>

<name>hive.metastore.local</name>

<value>true</value>

</property>

<property>

<name>hive.metastore.warehouse.dir</name>

<value>hdfs://192.168.254.7:9000/hive/warehouse</value>

</property>

</configuration>

(4) 初始化 Derby 数据库

schematool -dbType derby -initSchema

测试hive安装是否成功:

Hive Shell入门基础命令

创建database test_db

CREATE DATABASE test_db;

使用database testDB

USE test_db;

创建emp表

CREATE TABLE emp(empno INT,ename STRING,job STRING,mgr INT,hiredate STRING,sal INT,comm INT,deptno INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY',';
1.将emp.csv中的数据导入到emp表中

emp.csv表如下(要提前上传到hdfs上)

|------|--------|-----------|------|------------|------|------|----|
| 7369 | SMITH | CLERK | 7902 | 1980/12/17 | 800 | | 20 |
| 7499 | ALLEN | SALESMAN | 7698 | 1981/2/20 | 1600 | 300 | 30 |
| 7521 | WARD | SALESMAN | 7698 | 1981/2/22 | 1250 | 500 | 30 |
| 7566 | JONES | MANAGER | 7839 | 1981/4/2 | 2975 | | 20 |
| 7654 | MARTIN | SALESMAN | 7698 | 1981/9/28 | 1250 | 1400 | 30 |
| 7698 | BLAKE | MANAGER | 7839 | 1981/5/1 | 2850 | | 30 |
| 7782 | CLARK | MANAGER | 7839 | 1981/6/9 | 2450 | | 10 |
| 7788 | SCOTT | ANALYST | 7566 | 1987/4/19 | 3000 | | 20 |
| 7839 | KING | PRESIDENT | | 1981/11/17 | 5000 | | 10 |
| 7844 | TURNER | SALESMAN | 7698 | 1981/9/8 | 1500 | 0 | 30 |
| 7876 | ADAMS | CLERK | 7788 | 1987/5/23 | 1100 | | 20 |
| 7900 | JAMES | CLERK | 7698 | 1981/12/3 | 950 | | 30 |
| 7902 | FORD | ANALYST | 7566 | 1981/12/3 | 3000 | | 20 |
| 7934 | MILLER | CLERK | 7782 | 1982/1/23 | 1300 | | 10 |

LOAD DATA INPATH '/ussr/local/input/emp.csv' INTO TABLE emp;

常用查询语句的使用

  1. 查询工资大于2000的员工信息。

select * from emp where sal>2000;


2.以部门号(deptno)来分组对员工工资(sal)进行求和。

SELECT deptno, SUM(sal) AS total_salary FROM emp GROUP BY deptno;

相关推荐
AI源码31 分钟前
基于 Hadoop 和 Hive 的旅游景区数据的分析与可视化系统
hive·hadoop·旅游
wuyk55513 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界17 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)18 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
字节跳动数据平台21 小时前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
安心联-车辆监控管理系统1 天前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
大大大大晴天2 天前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云2 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏2 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata2 天前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售