sqoop将MySQL数据导入hive

使用脚本加载数据

MySQL有一张表

hive创建一张相同的表

编写脚本同步数据

bash 复制代码
[root@master sqoop]# vim stu.sh


#!/bin/bash
SQOOP=/usr/local/soft/sqoop-1.4.6/bin/sqoop
$SQOOP import --connect jdbc:mysql://192.168.67.100:3306/sqoop \
       --username root \
       --password 123456 \
       --query "select sid,sname  from stu where 1=1 and \$CONDITIONS" \
       -m 3 \
       --target-dir "/user/hive/warehouse/test.db/stu" \
       --split-by sid \
       --delete-target-dir  \
       --fields-terminated-by '\t'

[root@master sqoop]# chmod +x stu.sh


[root@master sqoop]# vim stu.sh

注释;

1)SQOOP路径

2)MySQL地址 端口号 数据库名

3)用户名

4)密码

5)SQL语句

6)hive的表路径(登录Hadoop网页 查看)

7)分隔符

执行成功 查看数据

相关推荐
王强你强6 分钟前
MySQL 高级查询:JOIN、子查询、窗口函数
数据库·mysql
草巾冒小子7 分钟前
brew 安装mysql,启动,停止,重启
数据库·mysql
振鹏Dong3 小时前
MySQL 事务底层和高可用原理
数据库·mysql
·云扬·3 小时前
深度剖析 MySQL 与 Redis 缓存一致性:理论、方案与实战
redis·mysql·缓存
努力的小Qin4 小时前
银河麒麟V10 aarch64架构安装mysql教程
数据库·mysql·架构
运维开发那些事6 小时前
Mysql MIC高可用集群搭建
mysql
weixin_307779137 小时前
C#实现HiveQL建表语句中特殊数据类型的包裹
开发语言·数据仓库·hive·c#
GoingYoo7 小时前
MySQL原理:逻辑架构
数据库·sql·mysql
手握风云-8 小时前
MySQL数据库精研之旅第五期:CRUD的趣味探索(中)
数据库·mysql