sql server 利用navicat导出的csv,再导入另外一台机器上的mysql的时候出现编码错误

sql server位于A机器,windows10操作系统

mysql位于B机器,windows10操作系统

B机器上使用mysql workbench,导入的时候每次仅仅导入2574条数据之后便中断了,csv中有2686365条数据

csv文件无论是使用记事本还是sublime都能正常打开,中英文正常显示,没有乱码

但是就是导入mysql会中断

使用python的时候没法使用utf8打开,只能使用gbk编码打开,而且读取到2576行的时候,显示

UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 5450: illegal multibyte sequence

曾将csv转为xlsx文件,再转为csv,仍旧是读取到2576行的时候报解码错误。

使用notepad++打开以后发现编码方式不是gbk也不是utf-8,而是UTF-8-BOM

在notepad++中点击"编码",转换为UTF-8编码以后,再导入mysql报错:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xa1 in position 4: illegal multibyte sequence

一条数据都导入不了了。

至于为什么python使用gbk读取utf-8-bom编码文件,我猜想应该是gbk和utf-8-bom编码有交集

最后:使用Python读取notepad++将utf-8-bom编码转换为utf-8编码后的文件,转换为sql脚本

相关推荐
jay神几秒前
基于SpringBoot的宠物生命周期信息管理系统
java·数据库·spring boot·后端·web开发·宠物·管理系统
秋914 分钟前
MySQL 8.0.46 与 MySQL 9.7.0在sql语句方面的区别并举例说明
数据库·sql·mysql
一只数据集15 分钟前
NVIDIA Nemotron AIQ Agentic Safety Dataset:面向企业级智能体系统的安全与防护评估数据集全面解析
网络·数据库·安全
Amazinqc33 分钟前
Mysql数据库数据软隔离的并发死锁情况
数据库·mysql·死锁
DianSan_ERP40 分钟前
京东订单接口集成中如何处理消费者敏感信息的安全与合规问题?
前端·数据库·后端·团队开发·运维开发
原来是猿41 分钟前
TCP Echo Server 深度解析:从单进程到线程池的演进之路(中)
linux·服务器·数据库
treesforest43 分钟前
IP地址段查询完全指南:从单IP查到IPv4段批量归属地查询
网络·数据库·网络协议·tcp/ip·网络安全·运维开发
fTiN CAPA1 小时前
Linux系统离线部署MySQL详细教程(带每步骤图文教程)
linux·mysql·adb
渣渣灰95871 小时前
基于STM32F03ZET6移植FreeRTOS
数据库·stm32·嵌入式硬件
庞轩px2 小时前
第七篇:Redis分布式锁——从setnx到RedLock的演进之路
数据库·redis·分布式锁·redission·setnx·redlock·可重入锁