Kettle 远程mysql 表导入到 hadoop hive

kettle 远程mysql 表导入到 hadoop hive

(教学用 )

文章目录

  • [kettle 远程mysql 表导入到 hadoop hive](#kettle 远程mysql 表导入到 hadoop hive)
  • [创建 对象 执行 SQL 语句 -mysql 导出 CSV格式](#创建 对象 执行 SQL 语句 -mysql 导出 CSV格式)
  • [CSV 文件远程上传到 HDFS](#CSV 文件远程上传到 HDFS)
    • [运行 SSH 命令](#运行 SSH 命令)
    • [远程登录 run SSH 并执行 hadoop fs -put](#远程登录 run SSH 并执行 hadoop fs -put)
  • 建表和加载数据
  • 总结

创建 对象 执行 SQL 语句 -mysql 导出 CSV格式

sql 复制代码
SELECT * 
INTO OUTFILE '/home/mysql-files/sakila_actor9.csv' 
FIELDS TERMINATED BY ',' 
ENCLOSED BY '' 
LINES TERMINATED BY '\n'
FROM sakila.actor;

CSV 文件远程上传到 HDFS

运行 SSH 命令

远程登录 run SSH 并执行 hadoop fs -put


bash 复制代码
/opt/module/hadoop-3.3.0/bin/hadoop fs -put /home/mysql-files/sakila_actor9.csv /user/hive/warehouse/

建表和加载数据

sql 复制代码
CREATE EXTERNAL TABLE IF NOT EXISTS sakiladb.actor9 
(
  actor_id STRING COMMENT 'from deserializer',
  first_name STRING COMMENT 'from deserializer',
  last_name STRING COMMENT 'from deserializer',
  last_update STRING COMMENT 'from deserializer'
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','  -- 列分隔符
STORED AS TEXTFILE;

LOAD DATA INPATH '/user/hive/warehouse/sakila_actor9.csv' INTO TABLE actor9;

总结

通过 Kettle (Pentaho Data Integration),我们能够轻松地将远程 MySQL 数据库中的数据导出到 CSV 文件,上传到 HDFS,并最终将数据导入 Hive。这样,我们可以利用 Hadoop 的强大计算能力来进行数据处理和分析。以下是整个过程的概览:

导出 MySQL 数据为 CSV 格式:使用 Table Input 和 Text File Output 步骤。

上传 CSV 文件到 HDFS:通过 SSH Connection 执行 hadoop fs -put 命令。

在 Hive 中创建表并加载数据:使用 CREATE TABLE 和 LOAD DATA 命令。

这个过程不仅适用于 MySQL 和 Hive,也可以根据需要适配其他数据源和目标系统。

相关推荐
-SGlow-2 小时前
MySQL相关概念和易错知识点(2)(表结构的操作、数据类型、约束)
linux·运维·服务器·数据库·mysql
水瓶_bxt4 小时前
Centos安装HAProxy搭建Mysql高可用集群负载均衡
mysql·centos·负载均衡
♡喜欢做梦4 小时前
【MySQL】深入浅出事务:保证数据一致性的核心武器
数据库·mysql
遇见你的雩风4 小时前
MySQL的认识与基本操作
数据库·mysql
dblens 数据库管理和开发工具4 小时前
MySQL新增字段DDL:锁表全解析、避坑指南与实战案例
数据库·mysql·dblens·dblens mysql·数据库连接管理
weixin_419658314 小时前
MySQL的基础操作
数据库·mysql
Olrookie6 小时前
若依前后端分离版学习笔记(三)——表结构介绍
笔记·后端·mysql
Lemon程序馆9 小时前
今天聊聊 Mysql 的那些“锁”事!
后端·mysql
陪我一起学编程9 小时前
MySQL创建普通用户并为其分配相关权限的操作步骤
开发语言·数据库·后端·mysql·oracle
Cxzzzzzzzzzz13 小时前
数据库索引详解:原理、设计原则与应用场景
数据库·mysql