sql server 利用navicat导出的csv,再导入另外一台机器上的mysql的时候出现编码错误

sql server位于A机器,windows10操作系统

mysql位于B机器,windows10操作系统

B机器上使用mysql workbench,导入的时候每次仅仅导入2574条数据之后便中断了,csv中有2686365条数据

csv文件无论是使用记事本还是sublime都能正常打开,中英文正常显示,没有乱码

但是就是导入mysql会中断

使用python的时候没法使用utf8打开,只能使用gbk编码打开,而且读取到2576行的时候,显示

UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 5450: illegal multibyte sequence

曾将csv转为xlsx文件,再转为csv,仍旧是读取到2576行的时候报解码错误。

使用notepad++打开以后发现编码方式不是gbk也不是utf-8,而是UTF-8-BOM

在notepad++中点击"编码",转换为UTF-8编码以后,再导入mysql报错:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xa1 in position 4: illegal multibyte sequence

一条数据都导入不了了。

至于为什么python使用gbk读取utf-8-bom编码文件,我猜想应该是gbk和utf-8-bom编码有交集

最后:使用Python读取notepad++将utf-8-bom编码转换为utf-8编码后的文件,转换为sql脚本

相关推荐
不羁。。3 小时前
【撸靶笔记】第八关:GET - Blind - Boolian Based - Single Quotes
数据库·sql·mybatis
AwhiteV4 小时前
利用图数据库高效解决 Text2sql 任务中表结构复杂时占用过多大模型上下文的问题
数据库·人工智能·自然语言处理·oracle·大模型·text2sql
m0_595199854 小时前
Redis(以Django为例,含具体操作步骤)
数据库·redis·缓存
爱尚你19934 小时前
MySQL 三大日志:redo log、undo log、binlog 详解
数据库·mysql
小猿姐5 小时前
KubeBlocks AI:AI时代的云原生数据库运维探索
数据库·人工智能·云原生·kubeblocks
NocoBase7 小时前
10 个开源工具,快速构建数据应用
数据库·低代码·开源
麻辣清汤7 小时前
结合BI多维度异常分析(日期-> 商家/渠道->日期(商家/渠道))
数据库·python·sql·finebi
钢铁男儿8 小时前
Python 正则表达式(正则表达式和Python 语言)
python·mysql·正则表达式
Kan先生9 小时前
对象存储解决方案:MinIO 的架构与代码实战
数据库·python
超级迅猛龙9 小时前
保姆级Debezium抽取SQL Server同步kafka
数据库·hadoop·mysql·sqlserver·kafka·linq·cdc