sqoop将MySQL数据导入hive

使用脚本加载数据

MySQL有一张表

hive创建一张相同的表

编写脚本同步数据

bash 复制代码
[root@master sqoop]# vim stu.sh


#!/bin/bash
SQOOP=/usr/local/soft/sqoop-1.4.6/bin/sqoop
$SQOOP import --connect jdbc:mysql://192.168.67.100:3306/sqoop \
       --username root \
       --password 123456 \
       --query "select sid,sname  from stu where 1=1 and \$CONDITIONS" \
       -m 3 \
       --target-dir "/user/hive/warehouse/test.db/stu" \
       --split-by sid \
       --delete-target-dir  \
       --fields-terminated-by '\t'

[root@master sqoop]# chmod +x stu.sh


[root@master sqoop]# vim stu.sh

注释;

1)SQOOP路径

2)MySQL地址 端口号 数据库名

3)用户名

4)密码

5)SQL语句

6)hive的表路径(登录Hadoop网页 查看)

7)分隔符

执行成功 查看数据

相关推荐
千寻技术帮12 小时前
10454_基于Springboot的企业购销链管理系统
spring boot·mysql·vue·毕业设计·进销存
ServBay15 小时前
AI编程越来越强,为什么软件漏洞却是一个没少?MySQL又爆高危漏洞了
后端·mysql
FungLeo15 小时前
FengCMS · PHP+MySQL 升级实录 · Web 入口收敛:Apache/Nginx 白名单挡住配置、安装 SQL、上传脚本直连
前端·mysql·php·安全加固·fengcms
星恒随风17 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
星恒随风18 小时前
MySQL 从零入门(十一):视图与用户权限管理详解
linux·服务器·数据库·笔记·mysql
AI源码1 天前
基于 Hadoop 和 Hive 的旅游景区数据的分析与可视化系统
hive·hadoop·旅游
nice_lcj5201 天前
MySQL 的锁:行锁、表锁、间隙锁与死锁
mysql·面试·锁·行锁·死锁·间隙锁
Flynn Liang1 天前
HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程
java·数据库·mysql·高并发·连接池·hikaricp·sql 优化
FungLeo2 天前
FengCMS · PHP+MySQL 升级实录 ·三重 MD5 迁移 password_hash:老站密码怎么无痛升级
mysql·php·哈希算法·密码安全·fengcms
雾隐隐o2 天前
优搭校园 01|项目概览、技术选型与初始化
spring boot·mysql·vue