sqoop将MySQL数据导入hive

使用脚本加载数据

MySQL有一张表

hive创建一张相同的表

编写脚本同步数据

bash 复制代码
[root@master sqoop]# vim stu.sh


#!/bin/bash
SQOOP=/usr/local/soft/sqoop-1.4.6/bin/sqoop
$SQOOP import --connect jdbc:mysql://192.168.67.100:3306/sqoop \
       --username root \
       --password 123456 \
       --query "select sid,sname  from stu where 1=1 and \$CONDITIONS" \
       -m 3 \
       --target-dir "/user/hive/warehouse/test.db/stu" \
       --split-by sid \
       --delete-target-dir  \
       --fields-terminated-by '\t'

[root@master sqoop]# chmod +x stu.sh


[root@master sqoop]# vim stu.sh

注释;

1)SQOOP路径

2)MySQL地址 端口号 数据库名

3)用户名

4)密码

5)SQL语句

6)hive的表路径(登录Hadoop网页 查看)

7)分隔符

执行成功 查看数据

相关推荐
篱笆院的狗几秒前
MySQL 中 SQL 语句的详细执行过程
数据库·sql·mysql
IT成长日记1 小时前
【Hive入门】Hive基础操作与SQL语法:DDL操作全面指南
hive·hadoop·sql·ddl操作
IT成长日记1 小时前
【Hive入门】Hive分桶表深度解析:从哈希分桶到Join优化的完整指南
hive·hadoop·哈希算法·哈希分桶·join优化
漫步向前3 小时前
28.mysql读写分离
mysql
破 风4 小时前
Docker启动mysql容器时找不到 mysqlx.sock 和 mysqld.sock
mysql·docker·容器
IT成长日记5 小时前
【Hive入门】Hive动态分区与静态分区:使用场景与性能对比完全指南
数据仓库·hive·hadoop·动态分区·静态分区
Live000005 小时前
Next.js 结合 MySQL 数据库全站开发教程
前端·mysql·next.js
书唐瑞5 小时前
使用 binlog2sql 闪回 MySQL8 数据
mysql·python3·mysql8·binlog2sql·闪回
神仙别闹6 小时前
基于Java(JSP)+MySQL实现深度学习的音乐推荐系统
java·深度学习·mysql
forestsea6 小时前
MySQL 调优
数据库·mysql·性能优化