测试环境搭建整套大数据系统(十七:mysql同步,字段类型映射错误问题)

问题描述

mysql表

hive表

其中 type是字符串类型,但是yarn上一直报错

number这个类是往int类型转才会使用到的

解决方法

在命令中增加参数

dart 复制代码
sqoop export \
  --connect "jdbc:mysql://?useUnicode=true&characterEncoding=UTF-8" \
  --username root \
  --password  \
  --table event_resource_statistics \
  --columns "create_time,type,quantity,used_space,size,sort" \
  --input-fields-terminated-by '\t' \
  --input-null-string '\\N' \
  --export-dir /hive/warehouse/parsed_local_probe_origin \
  --map-column-java create_time=String,type=String,quantity=Long,used_space=Long,size=String,sort=Integer \
  --verbose

增加--columns "create_time,type,quantity,used_space,size,sort"

--map-column-java create_time=String,type=String,quantity=Long,used_space=Long,size=String,sort=Integer \

相关推荐
沙二原住民9 分钟前
提升数据库性能的秘密武器:深入解析慢查询、连接池与Druid监控
java·数据库·oracle
三毛200419 分钟前
玳瑁的嵌入式日记D33-0908(SQL数据库)
jvm·数据库·sql
叫我龙翔28 分钟前
【MySQL】从零开始了解数据库开发 --- 库的操作
数据库·mysql·数据库开发
没有bug.的程序员39 分钟前
Redis Stream:轻量级消息队列深度解析
java·数据库·chrome·redis·消息队列
GottdesKrieges1 小时前
OceanBase容量统计:租户、数据库、表大小
数据库·oceanbase
pan3035074791 小时前
mysql 回表查询(二次查询,如何检查,如何规避)
数据库·mysql
Michaelwubo1 小时前
elasticsearch-7.17.29 集群案例,k8s方式和原始方式
数据库
TDengine (老段)2 小时前
TDengine 选择函数 Last() 用户手册
大数据·数据库·sql·物联网·时序数据库·tdengine·涛思数据
little_xianzhong2 小时前
关于对逾期提醒的定时任务~改进完善
java·数据库·spring boot·spring·mybatis
Sally璐璐2 小时前
Go正则表达式实战指南
数据库·mysql·golang