[sqoop]hive导入mysql,其中mysql的列存在默认值列

一、思路

直接在hive表中去掉有默认值的了列,在sqoop导入时,指定非默认值列即可,

二、具体

mysql的表

hive的表

sql 复制代码
create table dwd.dwd_hk_rcp_literature(
    id string,
    literature_no string,
    authors string,
    article_title string,
    source_title string,
    publication_date string,
    publication_year string,
    volume string,
    issue string,
    price string,
    created_at string,--插入时间
--     updated_at string,--这个字段不管
--     delete_status string,--有默认值
    abstract string
)
row format delimited
fields terminated by "\001"
;

sqoop导入

sql 复制代码
sqoop export \
--connect jdbc:mysql://ip:端口号/yly_ms_dev \
--username 用户名 \
--password 密码 \
--table hk_rcp_literature \
--columns "id,literature_no,author,article_title,source_title,publication_date,publication_year,volume,issue,price,created_at,abstracts" \
--export-dir /user/hive/warehouse/dwd.db/dwd_hk_rcp_literature \
--input-fields-terminated-by "\001"
相关推荐
lansye1 小时前
MySQL K8S日志分析与数据还原
mysql·k8s
lang201509281 小时前
MySQL 8.0原子性DDL全面解析
数据库·mysql
Ytadpole14 小时前
MySQL 数据库优化设计:优化原理和数据库表设计技巧
数据库·mysql·优化·索引·查询·检索·表设计
Boop_wu16 小时前
[MySQL] 基础操作
数据库·mysql
小糖学代码17 小时前
MySQL:14.mysql connect
android·数据库·mysql·adb
随心............18 小时前
在开发过程中遇到问题如何解决,以及两个经典问题
hive·hadoop·spark
可观测性用观测云19 小时前
阿里云 RDS MySQL 可观测性最佳实践
mysql
白云偷星子20 小时前
MySQL笔记14
数据库·笔记·mysql
绵绵细雨中的乡音21 小时前
MySQL 常用函数实操指南:从基础到实战案例
数据库·mysql
凉栀お_21 小时前
MySQL相关知识查询表中内容(第二次作业)
数据库·mysql