sqoop import抽取数据到hdfs乱码问题

sqoop import抽取数据到hdfs乱码问题

查源表数据:

查询目标表数据:

排查过程:

1.通过sqoop eval查询数据正常Sqoop_query "select car_owner ,replace(car_owner,'|','') as car_owner0 from tpkhrew.rew_policy limit 2"-----------------------------------------------| car_owner | car_owner0 |-----------------------------------------------| B44ED76EE02EF56511A35A0431CAB867 | B44ED76EE02EF56511A35A0431CAB867 || 3909889A8B265DC98ACC98C3A1930A1F | 3909889A8B265DC98ACC98C3A1930A1F |-----------------------------------------------

2.落hdfs数据异常,

3.查源表该字段数据类型,发现是对text类型字段做了replace操作会导致乱码
appli_name text COLLATE utf8mb4_bin COMMENT '投保人名称',

相关推荐
Hello.Reader4 小时前
Flink 文件系统通用配置默认文件系统与连接数限制实战
vue.js·flink·npm
-凌凌漆-4 小时前
【npm】npm的-D选项介绍
前端·npm·node.js
十月南城7 小时前
Hadoop基础认知——HDFS、YARN、MapReduce在现代体系中的位置与价值
hadoop·hdfs·mapreduce
蓝眸少年CY9 小时前
Hadoop2-HDFS文件系统
大数据·hadoop·hdfs
Francek Chen2 天前
【大数据基础】实验1:熟悉常用的Linux操作和Hadoop操作
大数据·linux·hadoop·hdfs
咔咔一顿操作2 天前
轻量无依赖!autoviwe 页面自适应组件实战:从安装到源码深度解析
javascript·arcgis·npm·css3·html5
aidou13143 天前
Visual Studio Code(VS Code)安装步骤
vscode·npm·node.js·环境变量
全栈小53 天前
【前端】win11操作系统安装完最新版本的NodeJs运行npm install报错,提示在此系统上禁止运行脚本
前端·npm·node.js
DevOps探索之旅4 天前
Hadess从入门到精通,如何详细管理Npm制品
npm·hadess·国产开源制品管理工具·一文上手
TTBIGDATA4 天前
【KNOX 】服务启动后,日志中出现与 Ranger 插件资源文件相关的告警 policymgr-ssl 启动告警
大数据·网络·hdfs·ui·ambari·hdp·bigtop