测试环境搭建整套大数据系统(十七:mysql同步,字段类型映射错误问题)

问题描述

mysql表

hive表

其中 type是字符串类型,但是yarn上一直报错

number这个类是往int类型转才会使用到的

解决方法

在命令中增加参数

dart 复制代码
sqoop export \
  --connect "jdbc:mysql://?useUnicode=true&characterEncoding=UTF-8" \
  --username root \
  --password  \
  --table event_resource_statistics \
  --columns "create_time,type,quantity,used_space,size,sort" \
  --input-fields-terminated-by '\t' \
  --input-null-string '\\N' \
  --export-dir /hive/warehouse/parsed_local_probe_origin \
  --map-column-java create_time=String,type=String,quantity=Long,used_space=Long,size=String,sort=Integer \
  --verbose

增加--columns "create_time,type,quantity,used_space,size,sort"

--map-column-java create_time=String,type=String,quantity=Long,used_space=Long,size=String,sort=Integer \

相关推荐
KellenKellenHao18 分钟前
MySQL数据库主从复制
数据库·mysql
@ chen43 分钟前
Redis事务机制
数据库·redis
KaiwuDB1 小时前
使用Docker实现KWDB数据库的快速部署与配置
数据库·docker
一只fish1 小时前
MySQL 8.0 OCP 1Z0-908 题目解析(16)
数据库·mysql
泊浮目2 小时前
未来数据库硬件-网络篇
数据库·架构·云计算
静若繁花_jingjing2 小时前
Redis线程模型
java·数据库·redis
叁沐3 小时前
MySQL 07 行锁功过:怎么减少行锁对性能的影响?
mysql
Java烘焙师3 小时前
架构师必备:业务扩展模式选型
mysql·elasticsearch·架构·hbase·多维度查询
飞翔的佩奇4 小时前
Java项目:基于SSM框架实现的忘忧小区物业管理系统【ssm+B/S架构+源码+数据库+毕业论文+开题报告】
java·数据库·mysql·vue·毕业设计·ssm框架·小区物业管理系统
@Ryan Ding4 小时前
MySQL主从复制与读写分离概述
android·mysql·adb