目录
[3、order by 优化](#3、order by 优化)
[(2)order by优化](#(2)order by优化)
1、插入数据
数据插入优化其实可以通过几个简单的操作来大幅提高效率。
以下是几种常见的优化方法:
(1)批量插入
如果我们要一次性插入很多数据,而每条数据都用单独的 INSERT
语句,那会很慢。最好使用批量插入,把多条数据写在一条 INSERT
语句里。这样数据库只需要一次性处理多个数据,而不是每次都处理一条,速度会快很多。
sql
INSERT INTO tb_test VALUES (1, 'Tom'), (2, 'Cat'), (3, 'XiaoTao');
(2)手动提交事务
默认情况下,每次插入一条数据,数据库都会自动提交一个事务。如果我们有很多条数据要插入,手动控制事务可以大幅减少数据库的事务开销。也就是说,先插入一批数据,然后手动提交,而不是每插入一条就提交一次。
sql
START TRANSACTION;
INSERT INTO tb_test VALUES (1, 'Tom'), (2, 'Cat'), (3, 'XiaoTao');
INSERT INTO tb_test VALUES (4, 'Tom'), (5, 'Cat'), (6, 'XiaoTao');
INSERT INTO tb_test VALUES (7, 'Tom'), (8, 'Cat'), (9, 'XiaoTao');
COMMIT;
(3)主键顺序插入
如果插入数据时主键是无序的,那么数据库在插入时需要不断调整数据的存储位置,这样会降低速度。如果我们能保证主键是顺序增长的,插入性能会更好,因为数据可以依次写入,不需要频繁调整。
主键乱序插入:8 1 9 21 88 2 4 15 89 5 7 3
主键顺序插入:1 2 3 4 5 7 8 9 15 21 88 89
(4)大批量插入数据 - 使用 LOAD DATA
当需要一次插入非常大量的数据时,INSERT
语句的效率就很低了。这时可以使用 MySQL 提供的 LOAD DATA
指令。它能直接从文件中批量加载数据,速度比普通的 INSERT
快得多。举个例子,插入 100 万条数据,INSERT
可能需要十几分钟,而 LOAD DATA
只需要十几秒。使用 LOAD DATA
指令时也是主键顺序插入性能高于乱序插入
具体操作步骤:
- 首先,用
mysql --local-infile
命令连接数据库,开启从本地加载文件的功能。 - 然后,设置全局参数
local_infile=1
,允许加载本地文件。 - 最后,用类似下面的
LOAD DATA
命令导入数据:
sql
LOAD DATA LOCAL INFILE '/root/sql1.log'
INTO TABLE `tb_user`
FIELDS TERMINATED BY ', '
LINES TERMINATED BY '\n';
这个SQL命令的意思就是:从 /root/sql1.log
文件中读取数据,按照逗号分隔每个字段,按照换行符分隔每条记录,批量插入到 tb_user
表里。fields terminated by ', ' 的意思是每一个字段之间使用 ', ' 分隔,lines terminated by '\n' 的意思是每一行数据用 '\n' 分隔
2、主键优化
主键的设计对数据库性能影响非常大,尤其是在InnoDB存储引擎中,表是按照主键顺序存储的,合理的主键设计能有效避免性能问题
数据组织方式: 在InnoDB存储引擎中,表数据都是根据主键顺序组织存放 的,这种存储方式的表称为索引组织表 (index organized table IOT)
InnoDB的逻辑存储结构: 最外层是表空间(Tablespace),表空间中存储的是一个一个段(Segment),段当中存放的是一个一个区(Extent),一个区的大小是固定的1M,在区当中存放的是一个一个的页(Page),页当中存放的是一个一个的行(Row),行当中就是存放着具体的字段值。页是InnoDB磁盘管理的最小单元,一个页的大小默认是16K,也就是一个区当中可以包含64个页
(1)页分裂
页可以为空,也可以填充一半,也可以填充100%。每个页包含了2至N行数据,具体包含多少行数据取决于每行的大小(如果一行数据过大,会行溢出),每行数据根据主键排列。
**主键顺序插入:**当我们按照顺序插入数据时,页的填充不会导致分裂。这意味着在插入新数据时,InnoDB 会自动将数据放入适当的页,不会造成额外的结构调整。
**主键乱序插入:**如果插入的是乱序数据,B+ 树必须在合适的位置插入新数据,这可能导致现有页被填满或溢出,从而触发页分裂。发生页分裂时,InnoDB 会将当前页中的部分数据移动到一个新的页,以保持主键的顺序。下面的过程就是页分裂
(2)页合并
当删除一行记录时,实际上记录并没有被物理删除,只是记录被标记(flaged)为删除并且它的空间变得允许被其他记录声明使用。
当页中删除的记录达到 MERGE_THRESHOLD(默认为页的50%),InnoDB会开始寻找最靠近的页(前或后)看看是否可以将两个页合并以优化空间使用。
**比如:**下面图一第二页中的删除记录达到了50%,然后就页合并变成了图二,再插入id为20的数据时就插入到新的页中
**提示:**MERGE THRESHOLD:合并页的阈值,可以自己设置,在创建表或者创建索引时指定。
(3)主键设计原则
根据上面对主键的了解,主键设计原则如下
**(一)**满足业务需求的情况下,尽量降低主键的长度。因为对于一张表来说,主键(聚集)索引只有一个,但是二级索引可以有多个,在二级索引的叶子节点中存放的就是数据的主键,所以说如果主键比较长,二级索引比较多,那么会占用大量的磁盘空间,而且在搜索时也会耗费大量的磁盘IO,所以要尽量降低主键的长度。
**(二)**插入数据时,尽量选择顺序插入,选择使用 AUTOINCREMENT 自增主键。因为如果是顺序插入就会使第一个页数据插入满了就插入下一个页,不会发生页分裂的现象。
**(三)**尽量不要使用UUID做主键或者是其他自然主键,如身份证号。因为UUID生成的主键是无序的,在插入数据时就是乱序插入的,就可能会存在页分裂的现象。还有一点就是主键使用UUID或身份证号,主键的长度就会长,在检索的时候就会耗费大量的磁盘IO。
**(四)**主键的唯一性决定了它不应该经常被修改。修改主键不仅要调整数据,还要重构相关的索引结构,这会造成较大的性能开销。所以,尽量避免在业务操作中对主键进行修改。这里的修改主键是指重新指定主键字段。
3、order by 优化
(1)排序方式
在MySQL中,排序主要有两种方式:Using filesort 和 Using index。
Using filesort:当排序无法通过索引直接返回结果时,MySQL会先通过索引或全表扫描获取满足条件的数据行,然后在排序缓冲区(sort buffer)中完成排序。这种排序就是Using filesort。
Using index:当数据可以通过有序索引直接返回时,不需要额外的排序操作,这种情况就是Using index,效率更高。
如果根据某个字段进行排序,并且该字段有相应的索引,MySQL会采用Using index的方式;反之,没有索引时,就会用到Using filesort。创建索引时,索引的默认排序为升序,
**举个例子:**如果有一个包含 age 和 phone 字段的联合索引,并且按这两个字段进行升序或降序排序,通常会使用Using index。
sql
# 没有创建索引时,根据age,phone进行排序
EXPLAIN SELECT id, age, phone FROM tb_user ORDER BY age, phone;
# 创建索引
CREATE INDEX idx_user_age_phone_aa ON tb_user(age, phone);
# 创建索引后,根据age,phone进行升序排序
EXPLAIN SELECT id, age, phone FROM tb_user ORDER BY age, phone;
# 创建索引后,根据age,phone进行降序排序
EXPLAIN SELECT id, age, phone FROM tb_user ORDER BY age DESC, phone DESC;
但是,如果想让 age 按升序排序,phone 按降序排序,那么MySQL会使用Using index加Using filesort。要避免filesort,可以创建一个 age 升序、phone 降序的联合索引。
sql
# 根据age升序、phone降序排序
EXPLAIN SELECT id, age, phone FROM tb_user ORDER BY age ASC, phone DESC;
# 创建age升序、phone降序的联合索引
CREATE INDEX idx_user_age_phone_ad ON tb_user(age ASC, phone DESC);
# 创建索引后,再次根据age升序、phone降序排序
EXPLAIN SELECT id, age, phone FROM tb_user ORDER BY age ASC, phone DESC;
创建age、phone的联合索引,age和phone都为升序的索引结构如下:先根据age进行升序排序,当age相同时再根据phone进行升序排序
创建age、phone的联合索引,age为升序、phone为降序的索引结构如下:先根据age进行升序排序,当age相同时再根据phone进行降序排序
(2)order by优化
(一)合理建立索引:根据排序字段创建合适的索引。如果是多个字段的排序,遵循最左前缀法则,确保索引能最大程度利用。
(二)尽量使用覆盖索引 :避免SELECT *
,因为如果查询的字段不在索引里,MySQL需要回表查询,排序依然会使用 filesort 。
(三)注意联合索引的排序规则:如果多字段排序时一个字段升序、另一个降序,需要在创建联合索引时明确 ASC/DESC 顺序。
(四)增大sort buffer size:如果无法避免filesort,并且数据量很大,可以适当增大排序缓冲区(sort buffer size,默认是256k)。否则,当数据超出缓冲区时会进行磁盘排序,影响性能。
推荐:
【数据结构】二叉查找树和平衡二叉树,以及二者的区别_平衡树和二叉搜索树-CSDN博客https://blog.csdn.net/m0_65277261/article/details/136137098?spm=1001.2014.3001.5501【数据结构】前缀树的模拟实现_前缀树实现-CSDN博客https://blog.csdn.net/m0_65277261/article/details/136086068?spm=1001.2014.3001.5501