CDH6.3.2,不互通的cdh平台互导hive数据

1、先导出所有建表语句,在源CDH服务器命令行输入下面命令,该库下所有建表语句保存至hive目录中的tables.sql文件中,不知道具体路径可以全局搜索一下,拿到源库hive的建表语句后,稍微处理一下,去目标库把表建好。

复制代码
hive -e "use database; show tables;" | xargs -I '{}' sh -c 'hive -e "use database; show create table '{}';"' > tables.sql

附加:我自己需要导很多个库,所以写了一行python代码可以批量生成用

复制代码
database = default
cmdstr = '''hive -e "use ''' + database + '''; show tables;" | xargs -I '{}' sh -c 'hive -e "use ''' + database + '''; show create table '{}';"' > ''' + database + '''.sql'''

2、然后再在源CDH服务器命令行输入下面命令,命令的意思就是查询后保存到data文件中

复制代码
hive -e " select * from database.table;" > data.txt

附加:

1)我用代码生成了一批上面的命令,直接批量复制到终端里面,结果有的执行了,有的没执行,查了下原因,是因为执行的时候会进如hive里面,终端反应比较慢,有一部分字符被粘到hive里面了,所以后来采用了shell脚本的形式。(有需要的可以参考)

复制代码
#!/bin/bash
result=`hive -e " select * from default.test;" > selectandget1.txt` 
echo "$result"

2)然后又出现一个问题,我直接代码批量生成的shell脚本放到终端里面报错:

./showll.sh: 权限不够

复制代码
chmod +x example.sh

/bin/bash^M: 坏的解释器: 没有那个文件或目录。这个问题是因为我在windows编辑的脚本,与centos的保存格式LR不一致。在python保存语句加参数 newline='\n'

复制代码
with open(sql_path+'output/4-3_select_and_save.sh', 'w' ,newline='\n') as f:

3、在目标库中新建不带分区的临时表(因为有分区不能直接导入,如果 没有分区的话可以直接跳过这步,去4步直接导入)

4、将源库中导出的data文件复制到目标库服务器上,然后把文件加载到临时表

复制代码
load data local inpath '/var/data.txt' overwrite into table database.table_cache ;

5、将临时表数据写到正式表中 ,需要注意的是,select不能直接*,而是要把所有列列出来

复制代码
insert overwrite table database.table partition (分区列名)  select 列名1,列名2 from database.table__cache;
相关推荐
lix的小鱼38 分钟前
spark和Hadoop之间的对比和联系
大数据·hadoop·spark
晴天彩虹雨2 小时前
Flink 数据清洗与字段标准化最佳实践
大数据·数据仓库·flink
TTBIGDATA3 小时前
如何将 Apache Hudi 接入 Ambari?完整部署与验证指南
大数据·hadoop·ambari·hudi·bigtop·湖仓·自定义组件集成
IT成长日记6 小时前
【Hive入门】Hive数据导出完全指南:从HDFS到本地文件系统的专业实践
hive·hadoop·hdfs·数据导出
向上的车轮6 小时前
数据湖DataLake和传统数据仓库Datawarehouse的主要区别是什么?优缺点是什么?
数据仓库
IT成长日记6 小时前
【Hive入门】Hive概述:大数据时代的数据仓库桥梁
大数据·数据仓库·hive·sql优化·分布式计算
大数据魔法师8 小时前
Hadoop生态圈框架部署 - Windows上部署Hadoop
大数据·hadoop·windows
渣渣盟8 小时前
大数据开发环境的安装,配置(Hadoop)
大数据·hadoop·分布式
weixin_3077791314 小时前
分层设计数据仓库的架构和设计高效数据库系统的方法
数据仓库·架构
IT成长日记19 小时前
【Hive入门】Hive查询语言(DQL)完全指南:从基础查询到高级分析
数据仓库·hive·hadoop·dql操作