解决 .csv 文件上传到 pgsql 的字符报错问题

目录

背景

上传 .csv 文件进行数据导入到 pg 时,报错显示如下:

ods.tbl_inp_fee_detail.csv数据上传失败
报错信息:org.postgresql.util.PSQLException: ERROR: invalid byte sequence for encoding "UTF8": 0x00 Where: COPY tbl_inp_fee_detail, line 3942264

问题

通过报错信息定位到 line 3942264,发现该 .csv 文件中存在 NUL 的字符,在 notepad++ 中显示如下图所示:

PS:notepad++ 记得先勾选上 功能栏选择 视图->显示符号->显示所有字符

解决办法

  1. 把打开 .csv 文件的默认格式改为 notepad++ 打开

  2. 最好采用本地的解压软件打开压缩包

  3. 由于压缩包的 .csv 文件是加密的,需要先解密,然后就可以打开报错相应的 .csv 文件,这时就直接打开的是 notepad++

  4. 在 notepad++ 中,点搜索栏的查找,在弹出窗口选替换,输入框输入 \x00 ,下面的替换为给它删到空,因为就是要把 NUL 字符替换为空,然后注意查找模式要选择扩展,最后点全部替换即可,记得 ctrl + s 保存,然后压缩包会提示你保存更改,点确认即可

  5. PS:解压 .csv 文件,notepad++ 打开 。csv 文件,以及替换字符的过程都可能需要挺长时间(看 .csv 文件的大小),不要乱点界面不然会卡死被强制退出

相关推荐
数分大拿的Statham9 小时前
PostgreSQL中的regexp_split_to_table函数详解,拆分字段为多行
大数据·数据库·postgresql·数据分析·数据清洗
mqiqe9 小时前
PostgreSQL主备环境配置
数据库·postgresql
mqiqe9 小时前
PostgreSQL 容器安装
数据库·postgresql
hai41174196210 小时前
mysql 与postgresql 的区别(gpt4)
数据库·mysql·postgresql
MinIO官方账号13 小时前
从 HDFS 迁移到 MinIO 企业对象存储
人工智能·分布式·postgresql·架构·开源
mqiqe16 小时前
PostgreSQL 基础操作
数据库·postgresql·oracle
Z_W_H_2 天前
【PostgreSQL】安装及使用(Navicat/Arcgis),连接(C#)
数据库·postgresql
小怪兽ysl2 天前
【GBase 8c V5_3.0.0 分布式数据库常用几个SQL】
数据库·postgresql
言成言成啊3 天前
PostgreSQL维护——解决索引膨胀和数据死行
数据库·postgresql
文牧之4 天前
PostgreSQL的walsender和walreceiver进程介绍
运维·数据库·postgresql