sqoop import抽取数据到hdfs乱码问题

sqoop import抽取数据到hdfs乱码问题

查源表数据:

查询目标表数据:

排查过程:

1.通过sqoop eval查询数据正常Sqoop_query "select car_owner ,replace(car_owner,'|','') as car_owner0 from tpkhrew.rew_policy limit 2"-----------------------------------------------| car_owner | car_owner0 |-----------------------------------------------| B44ED76EE02EF56511A35A0431CAB867 | B44ED76EE02EF56511A35A0431CAB867 || 3909889A8B265DC98ACC98C3A1930A1F | 3909889A8B265DC98ACC98C3A1930A1F |-----------------------------------------------

2.落hdfs数据异常,

3.查源表该字段数据类型,发现是对text类型字段做了replace操作会导致乱码
appli_name text COLLATE utf8mb4_bin COMMENT '投保人名称',

相关推荐
weixin_4050233711 小时前
包资源管理器NPM 使用
前端·npm·node.js
小于小于091220 小时前
npx 与 npm 区别
前端·npm·node.js
亮子AI2 天前
【npm】npm install 产生软件包冲突怎么办?(详细步骤)
前端·npm·node.js
Rhys..3 天前
JS - npm init
开发语言·javascript·npm
夏天想3 天前
复制了一个vue的项目然后再这个基础上修改。可是通过npm run dev运行之前的老项目,发现运行的竟然是拷贝后的项目。为什么会这样?
前端·vue.js·npm
一枚前端小能手3 天前
📦 从npm到yarn到pnpm的演进之路 - 包管理器实现原理深度解析
前端·javascript·npm
vivo互联网技术4 天前
vivo HDFS EC大规模落地实践
大数据·hdfs·大数据计算与存储·erasure coding
洛克大航海5 天前
Ubuntu中使用Hadoop的HDFS和MapReduce
hadoop·ubuntu·hdfs·mapreduce
scorpion_V5 天前
VScode 中执行 npm 报错的问题
ide·vscode·npm
FreeBuf_5 天前
攻击者利用Discord Webhook通过npm、PyPI和Ruby软件包构建隐蔽C2通道
前端·npm·ruby