sqoop import抽取数据到hdfs乱码问题

sqoop import抽取数据到hdfs乱码问题

查源表数据:

查询目标表数据:

排查过程:

1.通过sqoop eval查询数据正常Sqoop_query "select car_owner ,replace(car_owner,'|','') as car_owner0 from tpkhrew.rew_policy limit 2"-----------------------------------------------| car_owner | car_owner0 |-----------------------------------------------| B44ED76EE02EF56511A35A0431CAB867 | B44ED76EE02EF56511A35A0431CAB867 || 3909889A8B265DC98ACC98C3A1930A1F | 3909889A8B265DC98ACC98C3A1930A1F |-----------------------------------------------

2.落hdfs数据异常,

3.查源表该字段数据类型,发现是对text类型字段做了replace操作会导致乱码
appli_name text COLLATE utf8mb4_bin COMMENT '投保人名称',

相关推荐
Johnstons7 小时前
AnaTraf:深度解析网络性能分析(NPM)
前端·网络·安全·web安全·npm·网络流量监控·网络流量分析
姬激薄10 小时前
HDFS概述
大数据·hadoop·hdfs
极小狐11 小时前
极狐GitLab 容器镜像仓库功能介绍
java·前端·数据库·npm·gitlab
七冬与小糖2 天前
【本地搭建npm私服】使用Verdaccio
前端·npm·node.js
从味书2 天前
安装typescript时,npm install -g typescript报错
javascript·typescript·npm
亦世凡华、2 天前
前端npm包发布流程:从准备到上线的完整指南
前端·经验分享·npm·node.js·npm发包
巴巴_羊2 天前
yarn npm pnpm
前端·npm·node.js
IT成长日记2 天前
【Hive入门】Hive数据导入与导出:批量操作与HDFS数据迁移完全指南
hive·hadoop·hdfs·数据导入与导出·load data
Lysun0013 天前
(pnpm)引入 其他依赖失败,例如‘@element-plus/icons-vue‘失败
前端·javascript·npm·pnpm
IvanCodes4 天前
七、Hadoop 历史追踪、数据安全阀与 MapReduce初体验
大数据·hadoop·hdfs·mapreduce·yarn