sql server 利用navicat导出的csv,再导入另外一台机器上的mysql的时候出现编码错误

sql server位于A机器,windows10操作系统

mysql位于B机器,windows10操作系统

B机器上使用mysql workbench,导入的时候每次仅仅导入2574条数据之后便中断了,csv中有2686365条数据

csv文件无论是使用记事本还是sublime都能正常打开,中英文正常显示,没有乱码

但是就是导入mysql会中断

使用python的时候没法使用utf8打开,只能使用gbk编码打开,而且读取到2576行的时候,显示

UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 5450: illegal multibyte sequence

曾将csv转为xlsx文件,再转为csv,仍旧是读取到2576行的时候报解码错误。

使用notepad++打开以后发现编码方式不是gbk也不是utf-8,而是UTF-8-BOM

在notepad++中点击"编码",转换为UTF-8编码以后,再导入mysql报错:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xa1 in position 4: illegal multibyte sequence

一条数据都导入不了了。

至于为什么python使用gbk读取utf-8-bom编码文件,我猜想应该是gbk和utf-8-bom编码有交集

最后:使用Python读取notepad++将utf-8-bom编码转换为utf-8编码后的文件,转换为sql脚本

相关推荐
ccddsdsdfsdf2 小时前
DBeaver怎么链接mongoDB
数据库·mongodb
丷丩3 小时前
Postgresql基础实践教程(十一)各种Join
数据库·postgresql·join
星夜夏空993 小时前
FreeRTOS学习(4)——内存映射
数据库·学习·mongodb
TheRouter4 小时前
AI Agent 记忆体系建设实战:短期、长期与工作记忆的工程实现
数据库·人工智能·oracle
Omics Pro4 小时前
首个!外源天然产物综合性代谢图谱
数据库·人工智能·算法·机器学习·r语言
唐青枫4 小时前
MySQL EXISTS 详解:存在性判断、NOT EXISTS 与实战示例
sql·mysql
JAVA面经实录9175 小时前
Hibernate面试题库
数据库·oracle·hibernate
2301_773643625 小时前
华为云存储实验
网络·mysql·华为云
迷枫7126 小时前
DM8 目录结构与常用排查入口梳理
服务器·数据库
Mr.Daozhi7 小时前
RAG 进阶实战:跑通 Demo 后我连续翻了 6 次车,逐一修复才真正可用(含 Gradio Web 版)
前端·数据库·langchain·大模型·gradio·rag·科研工具