sqoop将MySQL数据导入hive

使用脚本加载数据

MySQL有一张表

hive创建一张相同的表

编写脚本同步数据

bash 复制代码
[root@master sqoop]# vim stu.sh


#!/bin/bash
SQOOP=/usr/local/soft/sqoop-1.4.6/bin/sqoop
$SQOOP import --connect jdbc:mysql://192.168.67.100:3306/sqoop \
       --username root \
       --password 123456 \
       --query "select sid,sname  from stu where 1=1 and \$CONDITIONS" \
       -m 3 \
       --target-dir "/user/hive/warehouse/test.db/stu" \
       --split-by sid \
       --delete-target-dir  \
       --fields-terminated-by '\t'

[root@master sqoop]# chmod +x stu.sh


[root@master sqoop]# vim stu.sh

注释;

1)SQOOP路径

2)MySQL地址 端口号 数据库名

3)用户名

4)密码

5)SQL语句

6)hive的表路径(登录Hadoop网页 查看)

7)分隔符

执行成功 查看数据

相关推荐
007php0072 小时前
某大厂MySQL面试之SQL注入触点发现与SQLMap测试
数据库·python·sql·mysql·面试·职场和发展·golang
Craze_rd2 小时前
腾讯云TDSQL-C 与传统MySQL对比
mysql·云计算·腾讯云
赛姐在努力.2 小时前
Spring DI详解--依赖注入的三种方式及优缺点分析
java·mysql·spring
感哥3 小时前
MySQL索引
mysql
liangshanli4 小时前
MCP MySQL Server v2.0.1 发布:智能 DDL 日志记录,让数据库变更可追溯
mysql
像豆芽一样优秀5 小时前
Hive和Flink数据倾斜问题
大数据·数据仓库·hive·hadoop·flink
福赖6 小时前
《MySQL基础——C 语言链接》
c语言·数据库·mysql
程序新视界6 小时前
如何为MySQL中的JSON字段设置索引
数据库·mysql
半夏陌离18 小时前
SQL 拓展指南:不同数据库差异对比(MySQL/Oracle/SQL Server 基础区别)
大数据·数据库·sql·mysql·oracle·数据库架构
howard200518 小时前
VMWare上搭建Hive集群
hive·hadoop