sqoop import抽取数据到hdfs乱码问题

sqoop import抽取数据到hdfs乱码问题

查源表数据:

查询目标表数据:

排查过程:

1.通过sqoop eval查询数据正常Sqoop_query "select car_owner ,replace(car_owner,'|','') as car_owner0 from tpkhrew.rew_policy limit 2"-----------------------------------------------| car_owner | car_owner0 |-----------------------------------------------| B44ED76EE02EF56511A35A0431CAB867 | B44ED76EE02EF56511A35A0431CAB867 || 3909889A8B265DC98ACC98C3A1930A1F | 3909889A8B265DC98ACC98C3A1930A1F |-----------------------------------------------

2.落hdfs数据异常,

3.查源表该字段数据类型,发现是对text类型字段做了replace操作会导致乱码
appli_name text COLLATE utf8mb4_bin COMMENT '投保人名称',

相关推荐
爱吃火鸡面呀2 小时前
DataX 实战:使用 HDFS Reader 读取 Hive ORC 表并输出到 Stream
hive·hadoop·hdfs
LRL_4 小时前
跨平台 Node 模块安装指南:如何利用 pnpm/npm 配置`supportedArchitectures` 锁定平台依赖
前端·npm·node.js
guslegend1 天前
脚手架原理与本地调试:从 bin 软链接到 npm link
前端·npm·node.js·脚手架·前端工程化
泡干脆面就番茄1 天前
HDFS读写流程与MapReduce原理深度解析(面试高频考点)
hdfs·面试·mapreduce
孟陬4 天前
#教程 dw, dm, dy, d18m 是何意?万物可 Badge | 定制漂亮精致小徽章,打造眼前一亮 README
npm·github
hasty7 天前
不上传新包,也能改变用户拿到的版本:npm dist-tag 的 OIDC 权限治理
前端·npm·node.js
玖石书9 天前
HiSH 通过 apk 安装 Node.js、npm 与 pnpm
npm·node.js·鸿蒙·hish
FACELESS VOID9 天前
wsl下使用npm,错误识别到了windows下的npm
linux·windows·npm
搬砖的小码农_Sky10 天前
AI Agent:Windows上Node.js安装后 npm -v报错
前端·npm·node.js·人机交互
梅孔立13 天前
Codex 完整教程(Node.js安装 + npm安装Codex + DeepSeek配置 + 快捷键 + 设置)
前端·npm·node.js