MySQL 批量插入记录报 Error 1390 (HY000)

文章目录

1.背景

Golang 后台服务使用 GORM 实现与 MySQL 的交互,在实现一个通过 Excel 导入数据的接口时,使用 Save 方法一次性插入全部记录(>1w)时报了如下错误:

Error 1390 (HY000): Prepared statement contains too many placeholders

2.问题

在 MySQL 官方文档 Server Error Message Reference 可以看到其描述。

该错误属于 MySQL 服务端错误,可惜的是,官方文档并未给出详细的错误原因,只给出了错误码的简短描述。错误描述字面意思是"预处理语句包含太多占位符",结合业务场景,猜测原因是一次插入太多记录

3.分批插入

既然不允许一次插入太多记录,那么可以改为分批插入,而不是一次性插入所有数据。

go 复制代码
// 待插入的记录。
records := parseRecordsFromExcel()
batch := 1000

for i := 0; i < len(records ); i += batch {
	end := i + batch
	if end > len(records) {
		end = len(record)
	}
	return Db.Save(records[i:end]).Error
}

正如预期的那样,改为分批插入,解决了问题。

不知道你有没有疑问,我这里分批插入每批记录数是 1000,那可以采用 2000 或者其他数量吗?每批插入记录数的上限是多少呢?

带着这个疑问,请继续往下看。

4.一次最多能插入多少条记录?

MySQL 服务端之所以报 Error 1390 (HY000) 错误,直接原因是一次插入过多的记录,但更深层次的原因是 MySQL SQL 语句的占位符数量有上限,最大值为 16bits 无符号整数的最大值(65535)。

可以在 sql/sql_prepare.cc 中看到相关代码:

cpp 复制代码
static bool init_param_array(THD *thd, Prepared_statement *stmt) {
  LEX *lex = stmt->m_lex;
  if ((stmt->m_param_count = lex->param_list.elements)) {
    if (stmt->m_param_count > static_cast<uint>(UINT_MAX16)) {
      /* Error code to be defined in 5.0 */
      my_error(ER_PS_MANY_PARAM, MYF(0));
      return true;
    }
  ...
}

如果是 INSERT 语句,插入 n 条记录,每条记录有 m 列,则要求 m*n <= 65535。

如果数据量很大,最简单的解决方法,就是进行分批插入。

5.什么是 Prepared Statement?

上面的错误信息中提到了 Prepared statement,那么什么是 Prepared statement?为什么插入语句会涉及到占位符呢?

一条 SQL 在 DB 接收到最终执行完毕返回,大致的过程如下:

  1. 词法和语义解析。
  2. 优化 SQL 语句,制定执行计划。
  3. 执行并返回结果。

如果一条 SQL 经历上面所有的流程处理,一次编译,单次运行,此类普通语句被称作立即语句(Immediate Statement)。

但是,绝大多数情况下,某些 SQL 语句可能会被反复调用执行,或者每次执行的时候只有个别的值不同(比如 select 的 where 子句值不同,update 的 set 子句值不同,insert 的 values 值不同)。如果每次都需要经过上面的词法语义解析、语句优化,则效率明显很低。

如果事先解析优化好 SQL 语句,一次编译,多次运行,这种 SQL 被称为预处理语句(Prepared Statement)。

在 MySQL 中,Prepared Statements 是一种预编译 SQL 语句的机制,它可以帮助提高 SQL 的性能和安全性。

预编译语句的优势在于:一次编译、多次运行,省去了解析优化等过程;此外预编译语句能防止 SQL 注入。

sql 复制代码
# 定义预处理语句
PREPARE stmt_name FROM preparable_stmt;

# 执行预处理语句
EXECUTE stmt_name [USING @var_name [, @var_name] ...];

# 删除(释放)定义
{DEALLOCATE | DROP} PREPARE stmt_name;

下面看一个例子:利用字符串定义预处理 SQL,根据勾股定理计算直角三角形斜边。

sql 复制代码
mysql> PREPARE stmt1 FROM 'SELECT SQRT(POW(?,2) + POW(?,2)) AS hypotenuse';
Query OK, 0 rows affected (0.00 sec)
Statement prepared

mysql> SET @a = 3;
Query OK, 0 rows affected (0.00 sec)

mysql> SET @b = 4;                                                   
Query OK, 0 rows affected (0.00 sec)

mysql> EXECUTE stmt1 USING @a, @b;
+------------+
| hypotenuse |
+------------+
|          5 |
+------------+
1 row in set (0.00 sec)

mysql> DEALLOCATE PREPARE stmt1;                                     
Query OK, 0 rows affected (0.00 sec)

参考文献

Chapter 2 Server Error Message Reference
How many bind variables can I use in a SQL query in MySQL 5?
MySQL的SQL预处理(Prepared) - GeaoZhang
MySQL 8.0 Reference Manual :: 13.5 Prepared Statements

相关推荐
掘金-我是哪吒1 小时前
微服务mysql,redis,elasticsearch, kibana,cassandra,mongodb, kafka
redis·mysql·mongodb·elasticsearch·微服务
zmgst2 小时前
canal1.1.7使用canal-adapter进行mysql同步数据
java·数据库·mysql
令狐少侠20112 小时前
explain执行计划分析 ref_
mysql
随心............2 小时前
python操作MySQL以及SQL综合案例
数据库·mysql
xjjeffery2 小时前
MySQL 基础
数据库·mysql
恒辉信达2 小时前
hhdb数据库介绍(8-4)
服务器·数据库·mysql
小兜全糖(xdqt)5 小时前
mysql数据同步到sql server
mysql·adb
Karoku0665 小时前
【企业级分布式系统】Zabbix监控系统与部署安装
运维·服务器·数据库·redis·mysql·zabbix
周全全5 小时前
MySQL报错解决:The user specified as a definer (‘root‘@‘%‘) does not exist
android·数据库·mysql
白云如幻5 小时前
MySQL的分组函数
数据库·mysql