sqoop import抽取数据到hdfs乱码问题

sqoop import抽取数据到hdfs乱码问题

查源表数据:

查询目标表数据:

排查过程:

1.通过sqoop eval查询数据正常Sqoop_query "select car_owner ,replace(car_owner,'|','') as car_owner0 from tpkhrew.rew_policy limit 2"-----------------------------------------------| car_owner | car_owner0 |-----------------------------------------------| B44ED76EE02EF56511A35A0431CAB867 | B44ED76EE02EF56511A35A0431CAB867 || 3909889A8B265DC98ACC98C3A1930A1F | 3909889A8B265DC98ACC98C3A1930A1F |-----------------------------------------------

2.落hdfs数据异常,

3.查源表该字段数据类型,发现是对text类型字段做了replace操作会导致乱码
appli_name text COLLATE utf8mb4_bin COMMENT '投保人名称',

相关推荐
JavaEdge.15 小时前
java.io.IOException: Previous writer likely failed to write hdfs报错解决方案
java·开发语言·hdfs
鹿衔`16 小时前
CDH 6.3.2 异构集群优化实施文档
hdfs·yarn·cdh·cdh集群优化
中年程序员一枚1 天前
nuxt安装出现certificate 错误
前端框架·npm·node.js
十月不到底2 天前
Windows 上安装 Volta
windows·npm
橙序员小站2 天前
解密前端包管理工具:npm、Yarn与pnpm的全面对比
前端·npm·node.js
搞全栈小苏2 天前
使用 nvm(不破坏系统)Linux 上把 Node.js / npm 升级到你指定版本(Node v23.x、npm 10.x)
linux·npm·node.js
talle20212 天前
Hadoop分布式文件系统【HDFS】
大数据·hadoop·hdfs
这个图像胖嘟嘟3 天前
前端开发的基本运行环境配置
开发语言·javascript·vue.js·react.js·typescript·npm·node.js
星火开发设计3 天前
深入浅出HDFS:分布式文件系统核心原理与实践解析
大数据·数据库·hadoop·学习·hdfs·分布式数据库·知识
全栈前端老曹3 天前
【包管理】npm最常见的10大问题故障和解决方案
前端·javascript·rust·npm·node.js·json·最佳实践