Mysql Incorrect string value

今天遇到了一个比较坑的问题,记录一下。

最初是数据在更新时报了这个错误:Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x8A\xF0\x9F...' for column 'description' at row 1,第一时间以为是表字段的字符编码不对,满怀信心的将字段的编码类型改为 utf8mb4 后发现还是报同样的错。

java 复制代码
exception [Request processing failed; nested exception is org.springframework.jdbc.UncategorizedSQLException: 
### Error updating database.  Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x8A\xF0\x9F...' for column 'description' at row 1
### The error may exist in com/example/platform/dao/mysql/mapper/UmsPrintSystemVersionDaoMapper.java (best guess)
### The error may involve com.example.platform.dao.mysql.mapper.UmsPrintSystemVersionDaoMapper.updateById-Inline
### The error occurred while setting parameters
### SQL: UPDATE tb_ums_print_system_version  SET description=?,         update_time=?  WHERE id=?
### Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x8A\xF0\x9F...' for column 'description' at row 1
; uncategorized SQLException; SQL state [HY000]; error code [1366]; Incorrect string value: '\xF0\x9F\x98\x8A\xF0\x9F...' for column 'description' at row 1; nested exception is java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x8A\xF0\x9F...' for column 'description' at row 1] with root cause
java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x8A\xF0\x9F...' for column 'description' at row 1
	at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:965)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3976)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3912)
	at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2530)
	at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2683)
	at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2486)
	at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:1858)
	......

于是将这个错误消息贴到了 AI 上,得到的回复是修改连接字符串:

yaml 复制代码
spring:
  datasource:
    url: jdbc:mysql://localhost:3306/your_database?useUnicode=true&characterEncoding=utf8mb4&collation=utf8mb4_unicode_ci

对比下使用的连接字符串参数,当前使用的是 characterEncoding=utf8,于是修改为 characterEncoding=utf8mb4。但修改之后客户端启动不起来了,数据库连接失败。

之后各种测试后发现:

  • 该服务在测试环境是好的;
  • 生产环境的另一个使用该数据库的服务也是可以保存 4 字节的特殊符号的。

对比了下测试环境和生产环境的版本和默认字符集。

sql 复制代码
SELECT VERSION();
-- 测试环境:5.7.30
-- 生产环境:5.7.18
SHOW VARIABLES LIKE 'character_set_server';
-- 测试环境:utf8mb4
-- 生产环境:utf8

测试环境正常猜测是因为其默认字符集是 utf8mb4(后面找到的文章里也可以证实就是该配置影响的)。生产环境如果修改 character_set_server 配置需要重启数据库服务,这就有点麻烦了,一般生产环境如果需要重启,大都设置在凌晨三四点钟(这个时间段访问用户最少)。虽然可以设置定时重启,但实在不想早起确认服务是否正常,于是继续调查是否还有别的解决方案,毕竟还有别的服务是可以正常保存的。

首先是对比下这两个服务使用的连接字符串,都是使用的 useUnicode=true&characterEncoding=utf-8

之后比较了 MySQL connector 的版本,发现确实有区别:正常的那个服务使用的是 5.1.47 ,有问题的服务使用的是 5.1.46

xml 复制代码
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.47</version>
</dependency>

本来没期望修改了小版本号可以解决这个问题,但测试下来确实是可以了。最后还是通过百度搜到了具体的原因 ^1^:

Connector/J 5.1.47 及以上版本:

指定 characterEncoding 参数为 UTF8/UTF-8 即可, 新版本直接映射到 utf8mb4 编码; 如果 connectionCollation 指定的排序规则不是 utf8mb4 相关的, 则 characterEncoding 参数会重写为排序规则对应的编码;

Connector/J 5.1.47 以下版本:

设置 MySQL 参数变量 character_set_server=utf8mb4; 指定 characterEncoding 参数为 UTF8/UTF-8, jdbc 程序会进行探测是否使用 utf8mb4;

上面的说明和之前自己的测试结果都是吻合的。

Footnotes

  1. mysql 字符集引起的 java.sql.SQLException: Incorrect string value:
相关推荐
BD_Marathon23 分钟前
Ubuntu:Mysql服务器
服务器·mysql·ubuntu
程序猿小D1 小时前
[附源码+数据库+毕业论文]基于Spring+MyBatis+MySQL+Maven+jsp实现的电影小说网站管理系统,推荐!
java·数据库·mysql·spring·毕业设计·ssm框架·电影小说网站
羊小猪~~1 小时前
数据库学习笔记(十七)--触发器的使用
数据库·人工智能·后端·sql·深度学习·mysql·考研
CodeWithMe2 小时前
【Note】《深入理解Linux内核》 Chapter 15 :深入理解 Linux 页缓存
linux·spring·缓存
叁沐2 小时前
MySQL 05 深入浅出索引(下)
mysql
llwszx2 小时前
Spring中DelayQueue深度解析:从原理到实战(附结构图解析)
java·后端·spring·delayqueue·延迟任务
陈卓4103 小时前
MySQL-主从复制&分库分表
android·mysql·adb
你都会上树?3 小时前
MySQL MVCC 详解
数据库·mysql
C182981825754 小时前
OOM电商系统订单缓存泄漏,这是泄漏还是溢出
java·spring·缓存
长征coder4 小时前
AWS MySQL 读写分离配置指南
mysql·云计算·aws