sqoop将MySQL数据导入hive

使用脚本加载数据

MySQL有一张表

hive创建一张相同的表

编写脚本同步数据

bash 复制代码
[root@master sqoop]# vim stu.sh


#!/bin/bash
SQOOP=/usr/local/soft/sqoop-1.4.6/bin/sqoop
$SQOOP import --connect jdbc:mysql://192.168.67.100:3306/sqoop \
       --username root \
       --password 123456 \
       --query "select sid,sname  from stu where 1=1 and \$CONDITIONS" \
       -m 3 \
       --target-dir "/user/hive/warehouse/test.db/stu" \
       --split-by sid \
       --delete-target-dir  \
       --fields-terminated-by '\t'

[root@master sqoop]# chmod +x stu.sh


[root@master sqoop]# vim stu.sh

注释;

1)SQOOP路径

2)MySQL地址 端口号 数据库名

3)用户名

4)密码

5)SQL语句

6)hive的表路径(登录Hadoop网页 查看)

7)分隔符

执行成功 查看数据

相关推荐
索西引擎11 小时前
MySQL 进阶:视图、存储过程、存储函数与触发器
数据库·mysql
bksczm13 小时前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql
靠沿13 小时前
MySQL数据库进阶——存储过程和触发器
java·数据库·mysql
码少女14 小时前
MySQL--库与表的增删改查基础
java·数据库·mysql
打工的小王15 小时前
postgresql和mysql对比
数据库·mysql·postgresql
codeejun17 小时前
每日一Go·MySQL-15、慢查询日志实战分析(从 0 到 1 实战排查慢 SQL)
sql·mysql·golang
Decay__19 小时前
SQLServer 监控体系构建 —— sql_exporter + Prometheus + Grafana 全栈实战
运维·数据库·sql·mysql·架构
飞奔的瓜牛20 小时前
Nacos 三节点集群部署手册:MySQL 持久化 + Nginx 负载均衡
mysql·nginx·负载均衡
Umi·20 小时前
MySQL之多表关联查询练习
数据库·mysql
实泽有之,无泽虚之20 小时前
Windows环境bat脚本自动备份MySQL数据库并清理旧备份文件
数据库·mysql