测试环境搭建整套大数据系统(十七:mysql同步,字段类型映射错误问题)

问题描述

mysql表

hive表

其中 type是字符串类型,但是yarn上一直报错

number这个类是往int类型转才会使用到的

解决方法

在命令中增加参数

dart 复制代码
sqoop export \
  --connect "jdbc:mysql://?useUnicode=true&characterEncoding=UTF-8" \
  --username root \
  --password  \
  --table event_resource_statistics \
  --columns "create_time,type,quantity,used_space,size,sort" \
  --input-fields-terminated-by '\t' \
  --input-null-string '\\N' \
  --export-dir /hive/warehouse/parsed_local_probe_origin \
  --map-column-java create_time=String,type=String,quantity=Long,used_space=Long,size=String,sort=Integer \
  --verbose

增加--columns "create_time,type,quantity,used_space,size,sort"

--map-column-java create_time=String,type=String,quantity=Long,used_space=Long,size=String,sort=Integer \

相关推荐
sun0077002 小时前
mysql索引底层原理
数据库·mysql
程序员秘密基地2 小时前
基于html,css,vue,vscode,idea,,java,springboot,mysql数据库,在线旅游,景点管理系统
java·spring boot·mysql·spring·web3
workflower5 小时前
MDSE和敏捷开发相互矛盾之处:方法论本质的冲突
数据库·软件工程·敏捷流程·极限编程
叁沐5 小时前
MySQL 11 怎么给字符串字段加索引?
mysql
Tony小周5 小时前
实现一个点击输入框可以弹出的数字软键盘控件 qt 5.12
开发语言·数据库·qt
lifallen5 小时前
Paimon 原子提交实现
java·大数据·数据结构·数据库·后端·算法
TDengine (老段)6 小时前
TDengine 数据库建模最佳实践
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
Elastic 中国社区官方博客6 小时前
Elasticsearch 字符串包含子字符串:高级查询技巧
大数据·数据库·elasticsearch·搜索引擎·全文检索·lucene
Gauss松鼠会6 小时前
GaussDB应用场景全景解析:从金融核心到物联网的分布式数据库实践
数据库·分布式·物联网·金融·database·gaussdb
守城小轩7 小时前
Chromium 136 编译指南 - Android 篇:开发工具安装(三)
android·数据库·redis