sqoop import抽取数据到hdfs乱码问题

sqoop import抽取数据到hdfs乱码问题

查源表数据:

查询目标表数据:

排查过程:

1.通过sqoop eval查询数据正常Sqoop_query "select car_owner ,replace(car_owner,'|','') as car_owner0 from tpkhrew.rew_policy limit 2"-----------------------------------------------| car_owner | car_owner0 |-----------------------------------------------| B44ED76EE02EF56511A35A0431CAB867 | B44ED76EE02EF56511A35A0431CAB867 || 3909889A8B265DC98ACC98C3A1930A1F | 3909889A8B265DC98ACC98C3A1930A1F |-----------------------------------------------

2.落hdfs数据异常,

3.查源表该字段数据类型,发现是对text类型字段做了replace操作会导致乱码
appli_name text COLLATE utf8mb4_bin COMMENT '投保人名称',

相关推荐
钝挫力PROGRAMER3 天前
npx 与 npm 全局安装/更新/卸载
npm·npx·mcp·dsh
程序员梅雨4 天前
大数据修炼之路(二):HDFS 核心架构与面试详解
大数据·hdfs
天若有情6735 天前
开源轻量双语工具|一键批量查询 NPM 包历史下载量,支持按作者批量统计
javascript·npm·github pages·开源工具·netlify·前端开源·npm克隆量
爱吃火鸡面呀8 天前
HDFS 架构深度解析:从核心组件到数据读写全流程
hadoop·hdfs·架构
爱吃火鸡面呀9 天前
HDFS 文件读取流程深度解析:从客户端请求到数据落地的完整链路
大数据·hadoop·hdfs
柚稚姐姐9 天前
npm install pnpm -g npm error code EACCES npm error syscall symlink
前端·npm·node.js
崖边看雾10 天前
Hadoop —— HDFS 写数据流程
大数据·hadoop·hdfs
晴天1610 天前
npm install -f(--force)深度解析:作用原理、报错根源与风险避坑指南
前端·npm·node.js
崖边看雾10 天前
Hadoop —— HDFS 读流程
大数据·hadoop·hdfs
磁场转动100万匹10 天前
HDFS 与 MapReduce 核心原理详解
hadoop·hdfs·mapreduce