一、加载数据
在创建表之后,表中没有数据,我们不可能insert
存入数据。
而是,通过数据加载,将HDFS
中的数据关联到Hive
表中。
建表
sql
CREATE TABLE myhive.test_load(
dt string comment '时间(时分秒)',
user_id string comment '用户ID',
word string comment '搜索词',
url string comment '用户访问网址'
) comment '搜索引擎日志表'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
SQL语法
sql
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename;
OVERWRITE
:覆盖原表数据。
方式1、加载本地数据
这种方式,是先将本地数据上传
到HDFS
文件系统中,然后,关联到Hive
表中。
这里的本地,是指安装Hive
的服务器。
SQL
sql
LOAD DATA LOCAL INPATH '/home/atguigu/search_log.txt' INTO TABLE myhive.test_load;
方式2、加载HDFS数据
这种方式,是将HDFS
文件系统重其他目录的数据,Move
到Hive
表对应的目录中,从而,关联到Hive
表中。
SQL
此时inpath
对应的是HDFS
中文件的路径。
sql
LOAD DATA INPATH '/tmp/search_log.txt' INTO TABLE myhive.test_load;
加载后,源文件就不在了。
方式3、INSERT SELECT加载数据
这个方式,和MySQL
语法差不多
sql
INSERT [OVERWRITE | INTO] TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)
[IF NOT EXISTS]] select_statement1 FROM from_statement;
将SELECT
查询语句的结果插入到其它表中,被SELECT
查询的表可以是内部表或外部表。
注意:列字段要对齐,否则数据错乱。
示例:
sql
INSERT INTO TABLE tbl1 SELECT * FROM tbl2;
INSERT OVERWRITE TABLE tbl1 SELECT * FROM tbl2;
二、导出数据
基本语法:
sql
insert overwrite [local] directory 'path' select_statement1 FROM from_statement;
方式1、INSERT OVERWRITE
将查询的结果导出到本地 - 使用默认列分隔符
sql
insert overwrite local directory '/home/hadoop/export1'
select * from test_load ;
将查询的结果导出到本地 - 指定列分隔符
sql
insert overwrite local directory '/home/hadoop/export2'
row format delimited fields terminated by '\t'
select * from test_load;
将查询的结果导出到HDFS
文件系统中(不带local
关键字)
sql
insert overwrite directory '/tmp/export'
row format delimited fields terminated by '\t'
select * from test_load;
方式2、HIVE SHELL
基本语法:(hive -f/-e 执行语句或者脚本 > file
)
bash
bin/hive -e "select * from myhive.test_load;" > /home/hadoop/export3/export4.txt
bin/hive -f export.sql > /home/hadoop/export4/export4.txt
注意:shell
中的重定向符号>
只能捕获程序的标准输出
。