Kettle 远程mysql 表导入到 hadoop hive

kettle 远程mysql 表导入到 hadoop hive

(教学用 )

文章目录

  • [kettle 远程mysql 表导入到 hadoop hive](#kettle 远程mysql 表导入到 hadoop hive)
  • [创建 对象 执行 SQL 语句 -mysql 导出 CSV格式](#创建 对象 执行 SQL 语句 -mysql 导出 CSV格式)
  • [CSV 文件远程上传到 HDFS](#CSV 文件远程上传到 HDFS)
    • [运行 SSH 命令](#运行 SSH 命令)
    • [远程登录 run SSH 并执行 hadoop fs -put](#远程登录 run SSH 并执行 hadoop fs -put)
  • 建表和加载数据
  • 总结

创建 对象 执行 SQL 语句 -mysql 导出 CSV格式

sql 复制代码
SELECT * 
INTO OUTFILE '/home/mysql-files/sakila_actor9.csv' 
FIELDS TERMINATED BY ',' 
ENCLOSED BY '' 
LINES TERMINATED BY '\n'
FROM sakila.actor;

CSV 文件远程上传到 HDFS

运行 SSH 命令

远程登录 run SSH 并执行 hadoop fs -put


bash 复制代码
/opt/module/hadoop-3.3.0/bin/hadoop fs -put /home/mysql-files/sakila_actor9.csv /user/hive/warehouse/

建表和加载数据

sql 复制代码
CREATE EXTERNAL TABLE IF NOT EXISTS sakiladb.actor9 
(
  actor_id STRING COMMENT 'from deserializer',
  first_name STRING COMMENT 'from deserializer',
  last_name STRING COMMENT 'from deserializer',
  last_update STRING COMMENT 'from deserializer'
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','  -- 列分隔符
STORED AS TEXTFILE;

LOAD DATA INPATH '/user/hive/warehouse/sakila_actor9.csv' INTO TABLE actor9;

总结

通过 Kettle (Pentaho Data Integration),我们能够轻松地将远程 MySQL 数据库中的数据导出到 CSV 文件,上传到 HDFS,并最终将数据导入 Hive。这样,我们可以利用 Hadoop 的强大计算能力来进行数据处理和分析。以下是整个过程的概览:

导出 MySQL 数据为 CSV 格式:使用 Table Input 和 Text File Output 步骤。

上传 CSV 文件到 HDFS:通过 SSH Connection 执行 hadoop fs -put 命令。

在 Hive 中创建表并加载数据:使用 CREATE TABLE 和 LOAD DATA 命令。

这个过程不仅适用于 MySQL 和 Hive,也可以根据需要适配其他数据源和目标系统。

相关推荐
程序员岳焱3 小时前
Java 与 MySQL 性能优化:Java 实现百万数据分批次插入的最佳实践
后端·mysql·性能优化
weixin_307779133 小时前
Hive集群之间迁移的Linux Shell脚本
大数据·linux·hive·bash·迁移学习
梦在深巷、4 小时前
MySQL/MariaDB数据库主从复制之基于二进制日志的方式
linux·数据库·mysql·mariadb
Johny_Zhao5 小时前
Ubuntu系统安装部署Pandawiki智能知识库
linux·mysql·网络安全·信息安全·云计算·shell·yum源·系统运维·itsm·pandawiki
祁思妙想5 小时前
八股学习(三)---MySQL
数据库·学习·mysql
惊骇世俗王某人6 小时前
1.MySQL之如何定位慢查询
数据库·mysql
叁沐6 小时前
MySQL 04 深入浅出索引(上)
mysql
q9085447037 小时前
MySQL 二进制日志binlog解析
mysql·binlog·binlog2sql·my2sql
码不停蹄的玄黓8 小时前
MySQL分布式ID冲突详解:场景、原因与解决方案
数据库·分布式·mysql·id冲突
王小王-1238 小时前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车