使用etl工具kettle的日常踩坑梳理之二、从Hadoop中导出数据

想操作MySQL等关系型数据库的可以访问我上一篇文章,本章主要介绍操作Hadoop等大数据组件。

根据2024年11月份测试了kettle工具在9.3及以上版本已经没有内置连接大数据(如Hadoop)组件了。

建议安装9.2及以下的,我这里送上8.3.0版本的请用百度网盘下载
链接:https://pan.baidu.com/s/1INRChuepogd332b81fC32w?pwd=4ll9
提取码:4ll9

然后还需要注意的是Java版本不能过高,要不然也会出现异常,我使用Java8没问题。

1、如果是在win系统中使用就点击.bat文件,然后如果是在linux中就运行.sh文件

2、进入后应该看到这个页面,然后点击文件->新建->转换

3、我现在想把hive中某一张表的数据导出来,就先点击输入下面的表输入,输出就是用什么格式的文件存储,比如我想用csv存储就选择这个文本文件输出。(其实就是数据从哪里来就选择输入,到哪里去就输出)

4、点击新建,配置好数据库连接信息,如果你配置了无须用正确的用户名和密码访问就还需要进入选项配置auth=noSasl

可以测试一下连接是不是正常可以使用,别忘记保存哟

5、点击这个获取sql查询语句选择你需要导出的是哪张表的数据,字段可以自定义。然后保存

6、然后点击导出的csv进行简单的配置,比如保存的目录文件名称,设置分隔符,编码格式等(点击浏览可以设置)。

7、然后按住shift键别动,用鼠标把两个拉起来,然后点击那个三角形启动,然后会弹出导出的过程

显示转换完成就可以去你刚才保存的目录下看了,导入的流程也是一样,只不过输入输出顺序填好

相关推荐
陈辛chenxin3 小时前
【大数据技术06】大数据技术
大数据·hadoop·分布式·python·信息可视化
yumgpkpm3 小时前
Hadoop在AI时代如何实现生态协同? CMP 7.13(或类 Cloudera CDP7.3 的 CMP 7.13 平台,如华为鲲鹏 ARM 版)
大数据·hadoop·elasticsearch·zookeeper·kafka·hbase·cloudera
piepis10 小时前
Doris Docker 完整部署指南
数据仓库·docker·doris·容器部署
qqxhb17 小时前
系统架构设计师备考第68天——大数据处理架构
大数据·hadoop·flink·spark·系统架构·lambda·kappa
得帆云18 小时前
COC Asia 2025|得帆云 ETL:顺应 Hive 新特性,重塑数据管道的未来
人工智能·etl
yumgpkpm1 天前
Hadoop大数据平台在中国AI时代的后续发展趋势研究CMP(类Cloudera CDP 7.3 404版华为鲲鹏Kunpeng)
大数据·hive·hadoop·python·zookeeper·oracle·cloudera
weixin_307779131 天前
破解遗留数据集成难题:基于AWS Glue的无服务器ETL实践
开发语言·云原生·云计算·etl·aws
凯子坚持 c1 天前
基于VMware与CentOS 7的Hadoop集群部署全景指南
linux·hadoop·centos
FeelTouch Labs2 天前
数据仓库和数据集市之ODS、CDM、ADS、DWD、DWS
数据仓库
大数据CLUB2 天前
酒店预订数据分析及预测可视化
大数据·hadoop·分布式·数据挖掘·数据分析·spark·mapreduce