Mysql事务、存储引擎和日志查询

Mysql事务、存储引擎和日志查询

一、 mysql事务

1.1 事务的概念

① 事务是一种机制、一个操作序列，包含了一组 数据库操作命令，并且把所有的命令作为一个整体一起向系统提交或撤销操作请求，即这一组数据库命令要么都执行，要么都不执行。

② 事务是一个不可分割的工作逻辑单元，在 数据库系统 上执行并发操作时，事务是最小的控制单元。

③ 事务适用于多用户同时操作的数据库系统的场景，如银行、保险公司及证券交易系统等等。

④ 事务通过事务的整体性以保证数据的一致性。

⑤ 事务能够提高在向表中更新和插入信息期间的可靠性。

1.2 事务的ACID特点

ACID，是指在可靠数据库管理系统（DBMS）中，事务(transaction)应该具有的四个特性：原子性（Atomicity） 、一致性（Consistency） 、隔离性（Isolation） 、持久性（Durability）。这是可靠数据库所应具备的几个特性。

原子性

① 指事务是一个不可再分割的工作单位，事务中的操作要么都发生，要么都不发生。

② 事务是一个完整的操作，事务的各元素是不可分的。

③ 事务中的所有元素必须作为一个整体提交或回滚。

④ 如果事务中的任何元素失败，则整个事务将失败。

总结 ：事务原子性是指事务中的所有操作要么全部成功，要么全部失败回滚，不允许出现部分操作成功或失败的情况。如果事务中的任何一个操作失败，整个事务都应该回滚到之前的状态，保证数据的一致性。 一致性 ①指在事务开始之前和事务结束以后，数据库的完整性约束没有被破坏。

②当事务完成时，数据必须处于一致状态。

③在事务开始前，数据库中存储的数据处于一致状态。

④在正在进行的事务中，数据可能处于不一致的状态。

⑤当事务成功完成时，数据必须再次回到已知的一致状态。

举例说明： 就好比坐车预定座位：当一个用户预订座位时，需要将座位信息从可用状态改为已预订状态。如果在此过程中出现错误，事务应该回滚，保证座位信息的一致性。

隔离性

① 指在并发环境中，当不同的事务同时操纵相同的数据时，每个事务都有各自的完整数据空间。

② 对数据进行修改的所有并发事务是彼此隔离的，表明事务必须是独立的，它不应以任何方式依赖于或影响其他事务。

③ 修改数据的事务可在另一个使用相同数据的事务开始之前访问这些数据，或者在另一个使用相同数据的事务结束之后访问这些数据。

④ 也就是说并发访问数据库时，一个用户的事务不被其他事务所干扰，各并发事务之间数据库是独立的。

举例：

还是用坐车预定座位来举例： 当一个用户预订座位时，需要保证座位信息从可用状态改为已预订状态的操作是隔离的，即在座位信息改变时，其他用户不能同时进行预订操作，否则可能会导致数据不一致。

持久性：

在事务完成以后，该事务所对数据库所作的更改便持久的保存在数据库之中，并不会被回滚。 指不管系统是否发生故障，事务处理的结果都是永久的。 一旦事务被提交，事务的效果会被永久地保留在数据库中。

1.3 一个事务的执行不能被其他事务干扰

事务之间的相互影响分为以下几种：

1. 脏读（Dirty Read）：一个事务读取了另一个事务未提交的数据，如果另一个事务回滚，则读取的数据是无效的。
2. 不可重复读（Non-Repeatable Read）：一个事务读取了另一个事务已提交的数据，但在事务结束前，另一个事务修改或删除了这些数据，导致读取的数据与之前不同。
3. 幻读（Phantom Read）：一个事务在读取一组数据时，另一个事务插入了新的数据，导致第一个事务再次读取时，发现多了一些数据。
4. 丢失更新（Lost Update）：两个事务同时更新同一条数据，其中一个事务的更新被另一个事务覆盖，导致数据丢失。

这些相互影响的问题可以通过使用事务隔离级别来解决。常见的事务隔离级别包括读未提交（Read Uncommitted）、读已提交（Read Committed）、可重复读（Repeatable Read）和串行化（Serializable）。不同的隔离级别提供了不同的解决方案，可以根据具体情况选择合适的隔离级别来保证数据的一致性和完整性。

事务之间相互影响的案例：

#1. 脏读（Dirty Read）：
一个用户正在修改银行账户余额，但还没有提交事务，此时另一个用户读取了该账户的余额，但由于修改尚未提交，读取的余额是不正确的。

#2. 不可重复读（Non-Repeatable Read）：
一个用户正在读取订单信息，但在读取过程中，另一个用户修改了订单信息，导致第一个用户再次读取时，发现订单信息已经发生了变化。

#3. 幻读（Phantom Read）：
一个用户正在读取某个商品的库存信息，但在读取过程中，另一个用户插入了新的库存信息，导致第一个用户再次读取时，发现多了一些库存信息。

#4. 丢失更新（Lost Update）：
两个用户同时修改同一条数据，其中一个用户的修改被另一个用户的修改覆盖，导致数据丢失。

这些相互影响的问题可以通过使用事务隔离级别来解决。例如，使用可重复读隔离级别可以避免脏读和不可重复读问题，但仍可能出现幻读问题。使用串行化隔离级别可以避免脏读、不可重复读和幻读等问题，但会降低并发性能。因此，在实际应用中，需要根据具体情况选择合适的隔离级别来保证数据的一致性和完整性。

常见的事务隔离级别包括：

1.读未提交（Read Uncommitted）：一个事务可以读取另一个事务未提交的数据，可能会导致脏读、不可重复读和幻读等问题。 安全性最差 但是性能最好 （不使用）

2.读已提交（Read Committed）：一个事务只能读取另一个事务已提交的数据，可以避免脏读问题，但仍可能出现不可重复读和幻读问题。 安全性较差 性能较好

3.可重复读（Repeatable Read）：一个事务在执行期间多次读取同一数据时，保证读取到的数据是一致的，可以避免脏读和不可重复读问题，但仍可能出现幻读问题。 安全性较高 性能较差

4.串行化（Serializable）：所有事务依次执行，每个事务都必须等待前一个事务执行完毕才能执行，可以避免脏读、不可重复读和幻读等问题，但会降低并发性能。 安全性最高，性能最差（不使用）

#以下是常见的事务隔离级别的案例：

#1. 读未提交（Read Uncommitted）：
一个用户正在修改银行账户余额，但还没有提交事务，此时另一个用户可以读取该账户的余额，即使修改尚未提交，也可以读取到未提交的数据。

#2. 读已提交（Read Committed）：
一个用户正在修改银行账户余额，但还没有提交事务，此时另一个用户不能读取该账户的余额，只有在修改提交后才能读取到修改后的数据。

#3. 可重复读（Repeatable Read）（mysql默认的隔离级别）：
一个用户正在读取订单信息，但在读取过程中，另一个用户修改了订单信息，但由于使用了可重复读隔离级别，第一个用户再次读取时，发现订单信息仍然是之前读取到的数据，不会发生变化。

#4. 串行化（Serializable）（相当于锁表）：
所有事务依次执行，每个事务都必须等待前一个事务执行完毕才能执行，可以避免脏读、不可重复读和幻读等问题，但会降低并发性能。

这些隔离级别的选择需要根据具体业务需求和性能要求来确定。
#例如：
在高并发的电商平台中，为了保证数据的一致性和完整性，可以选择使用可重复读或串行化隔离级别，但会降低并发性能。而在低并发的企业内部系统中，可以选择使用读已提交隔离级别，以提高并发性能。

mysql默认的事务处理级别是 repeatable read（可重复读取） ，而Oracle和SQL Server是 read committed（提交读：读取已经提交的数据 ）

1.4事务隔离级别的作用范围分为两种

① 全局级：对所有的会话有效

② 会话级：只对当前的会话有效

1.查询全局事务隔离级别：

show global variables like '%isolation%';
SELECT @@global.tx_isolation;

2.查询会话事务隔离级别

show session variables like '%isolation%';
SELECT @@session.tx_isolation; 
SELECT @@tx_isolation;

3.设置全局事务隔离级别

set global transaction isolation level read committed;
set @@global.tx_isolation='read-committed';   #重启服务后失效

4. 设置会话事务隔离级别

set session transaction isolation level repeatable read;
set @@session.tx_isolation='repeatable-read';

1.5 事务控制语句

BEGIN 或 START TRANSACTION：显式地开启一个事务。 COMMIT 或 COMMIT WORK：提交事务，并使已对数据库进行的所有修改变为永久性的。 ROLLBACK 或 ROLLBACK WORK：回滚会结束用户的事务，并撤销正在进行的所有未提交的修改。 SAVEPOINT S1：使用 SAVEPOINT 允许在事务中创建一个回滚点，一个事务中可以有多个 SAVEPOINT；"S1"代表回滚点名称。 ROLLBACK TO [SAVEPOINT] S1：把事务回滚到标记点。

准备工作： 首先创建MY的库

create database MY;
use MY;
create table perinfo(  
id int(10) primary key not null,  
name varchar(40),  
money double  
);
#插入数据
insert into perinfo values(1,'xiaoma',1000);  
insert into perinfo values(2,'xiaoyuan',1000); 
select * from perinfo;

1、测试提交事务

begin; -- 开始一个事务
update perinfo set money = money - 100 where name = 'xiaoyuan'; -- 更新名字为xiaoyuan的记录的money字段
select * from perinfo; -- 查询更新后的结果
commit; -- 提交事务
quit -- 退出MySQL命令行


mysql -u root -p 重新登录数据库
use MY; 使用MY数据库
select * from perinfo; 再次查询perinfo表的数据 

2、测试回滚事务

begin; -- 开始一个事务
update perinfo set money = money + 100 where name = 'xiaoma'; -- 更新名字为xiaoma的记录的money字段
select * from perinfo; -- 查询更新后的结果
rollback; -- 回滚事务
quit -- 退出MySQL命令行


mysql -u root -p -- 进入MySQL命令行
use MY; -- 选择MY数据库
select * from perinfo; -- 查询perinfo表中的所有记录并输出

3、测试多点回滚

begin; -- 开始一个事务
update perinfo set money = money + 100 where name = 'xiaoma'; -- 更新名字为xiaoma的记录的money字段
select * from perinfo; -- 查询更新后的结果
SAVEPOINT S1; -- 创建保存点S1
update perinfo set money = money + 100 where name = 'xiaoyuan'; -- 更新名字为xiaoyuan的记录的money字段
select * from perinfo; -- 查询更新后的结果
SAVEPOINT S2; -- 创建保存点S2
insert into perinfo values (3, 'my', 1000); -- 插入一条新记录

select * from perinfo; -- 查询perinfo表中的所有记录并输出
ROLLBACK TO S1; -- 回滚到保存点S1
select * from perinfo; -- 查询回滚后的结果并输出

4、使用 set 设置控制事务

SET AUTOCOMMIT=0;						#禁止自动提交
SET AUTOCOMMIT=1;						#开启自动提交，Mysql默认为1
SHOW VARIABLES LIKE 'AUTOCOMMIT';		#查看Mysql中的AUTOCOMMIT值

如果没有开启自动提交，当前会话连接的mysql的所有操作都会当成一个事务直到你输入rollback|commit;当前事务才算结束。当前事务结束前新的mysql连接时无法读取到任何当前会话的操作结果。 如果开起了自动提交，mysql会把每个sql语句当成一个事务，然后自动的commit。 当然无论开启与否，begin; commit|rollback; 都是独立的事务。

use MY; -- 选择MY数据库
select * from perinfo; -- 查询info表中的所有记录并输出
SET AUTOCOMMIT=0; -- 设置AUTOCOMMIT参数为0，关闭自动提交
SHOW VARIABLES LIKE 'AUTOCOMMIT'; -- 查询AUTOCOMMIT参数的值
update perinfo set money = money + 100 where name = 'xiaoma'; -- 更新名字为xiaoma的记录的money字段
select * from perinfo; -- 查询perinfo表中的所有记录并输出
quit -- 退出MySQL命令行

mysql -u root -p -- 进入MySQL命令行
use MY; -- 选择MY数据库
select * from perinfo; -- 查询perinfo表中的所有记录并输出

二、 MySQL存储引擎

2.1存储引擎概念介绍

MySQL中的数据用各种不同的技术存储在文件中，每一种技术都使用不同的存储机制、索引技巧、锁定水平并最终提供不同的功能和能力，这些不同的技术以及配套的功能在MySQL中称为存储引擎

• 存储引擎是MySQL将数据存储在文件系统中的存储方式或者存储格式
• MySQL常用的存储引擎：MylSAM,InnoDB。
• MySQL数据库中的组件，负责执行实际的数据I/O操作。
• MySQL系统中，存储引擎处于文件系统之上，在数据保存到数据文件之前会传输到存储引擎，之后按照各个存储引擎的存储格式进行存储

2.2 MylSAM

2.2.1 MyISAM 的特点

• MyISAM不支持事务，也不支持外键约束，只支持全文索引，数据文件和索引文件是分开保存的

  • 访问速度快，对事务完整性没有要求

  • MyISAM 适合查询、插入为主的应用场景

• MyISAM在磁盘上存储成三个文件，文件名和表名都相同，但是扩展名分别为：

  • .frm 文件存储表结构的定义
  • 数据文件的扩展名为 .MYD (MYData)
  • 索引文件的扩展名是 .MYI (MYIndex)

• 表级锁定形式，数据在更新时锁定整个表

  • 数据库在读写过程中相互阻塞:

    会在数据写入的过程阻塞用户数据的读取

    也会在数据读取的过程中阻塞用户的数据写入

    数据单独写入或读取，速度过程较快且占用资源相对少

2.2.2 MyISAM 表支持的3 种不同存储格式

（1）静态(固定长度)表： 静态表是默认的存储格式。静态表中的字段都是非可变字段，这样每个记录都是固定长度的，这种存储方式的优点是存储非常迅速，容易缓存，出现故障容易恢复；缺点是占用的空间通常比动态表多。

（2）动态表 动态表包含可变字段，记录不是固定长度的，这样存储的优点是占用空间较少，但是频繁的更新、删除记录会产生碎片，需要定期执行 OPTIMIZE TABLE 语句或 myisamchk -r 命令来改善性能，并且出现故障的时候恢复相对比较困难。

（3）压缩表 压缩表由 myisamchk 工具创建，占据非常小的空间，因为每条记录都是被单独压缩的，所以只有非常小的访问开支。

2.2.3 MyISAM适用的生产场景

• 公司业务不需要事务的支持
• 单方面读取或写入数据比较多的业务
• MyISAM存储引擎数据读写都比较频繁场景不适合
• 使用读写并发访问相对较低的业务
• 数据修改相对较少的业务
• 对数据业务一致性要求不是非常高的业务
• 服务器硬件资源相对比较差

MyIsam：适合于单方向的任务场景、同时并发量不高、对于事务要求不高的场景

2.3 InnoDB

2.3.1 InnoDB 的特点

1. 支持事务处理、外键约束，缓存能力较好。
2. 支持行级锁定，读写并发能力较好。
3. 5.5版本后支持全文索引，适用于一致性要求高、数据更新频繁的应用场景。
4. Innodb存储文件有frm、ibd frm是表定义文件，ibd是数据文件。

清空整个表时，InnoDB 是一行一行的删除，效率非常慢。Myisam 则会重建表

2.3.2 InnoDB 行锁与索引的关系

InnoDB行锁是通过给索引项加锁来实现的，如果没有索引，InnoDB将通过隐藏的聚簇索引来对记录加锁。

1） delete from t1 where id=1;

如果id字段是主键，innodb对于主键使用了聚簇索引，会直接锁住整行记录。

2） delete from t1 where name='aaa'; 如果name字段是普通索引，会先锁住索引的行，接着会锁住相应主键对应的记录。

3） delete from t1 where age=23; 如果age字段没有索引，会使用全表扫描过滤，这时将会进行表锁。

2.4 死锁

2.4.1 死锁出现的原因

死锁一般是事务相互等待对方资源，最后形成环路造成的。 互相访问对方的锁定行

2.4.2 如何尽可能避免死锁

1. 使用更合理的业务逻辑，以固定的顺序访问表和行。
2. 大事务拆小。大事务更倾向于死锁，如果业务允许，将大事务拆小。
3. 在同一个事务中，尽可能做到一次锁定所需要的所有资源，减少死锁概率。
4. 降低隔离级别。如果业务允许，将隔离级别调低也是较好的选择，比如将隔离级别从RR调整为RC，可以避免掉很多因为gap锁造成的死锁。
5. 为表添加合理的索引。如果不使用索引将会为表的每一行记录添加上锁，死锁的概率大大增大。

2.5 存储引擎的使用

2.5.1 查看存储引擎：

#方法一：
show table status from 库名 where name='表名'\G
 
#方法二：
use 库名;
show create table 表名;

2.5.2 修改存储引擎

#1．通过 alter table 修改
use 库名;
alter table 表名 engine=MyISAM;
 
#2．通过修改 /etc/my.cnf 配置文件，指定默认存储引擎并重启服务
vim /etc/my.cnf
......
[mysqld]
......
default-storage-engine=INNODB
 
systemctl restart mysql.service
#注意：此方法只对修改了配置文件并重启mysql服务后新创建的表有效，已经存在的表不会有变更。

2.5.3 创建存存储引擎

#通过 create table 创建表时指定存储引擎
use 库名;
create table 表名(字段1 数据类型,...) engine=MyISAM;

2.6 日志管理

MySQL 的日志默认保存位置为 /usr/local/mysql/data

2.6.1 错误日志（可参考最实例图）

错误日志，用来记录当MySQL启动、停止或运行时发生的错误信息，默认已开启

vim /etc/my.cnf
[mysqld]
##错误日志，用来记录当MySQL启动、停止或运行时发生的错误信息，默认已开启
log-error=/usr/local/mysql/data/mysql_error.log	

2.6.2 通用查询日志（可参考实例图）

通用查询日志，用来记录MySQL的所有连接和语句，默认是关闭的

general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log

2.6.3 慢查询日志（可参考实例图）

慢查询日志，用来记录所有执行时间超过long_query_time秒的语句，可以找到哪些查询语句执行时间长，以便于优化，默认是关闭的

 slow_query_log=ON
 slow_query_log_file=/home/mysql/mysql_slow_query.log 
 long_query_time=5    #慢查询时间，设置超过5秒执行的语句被记录，缺省时为10秒

2.6.4 二进制日志（可参考实例图）

用来记录所有更新了数据或者已经潜在更新了数据的语句，记录了数据的更改，可用于数据恢复，默认已开启

 log-bin=mysql-bin      #也可以log_bin=mysql-bin
 #使用相对路径，则文件存储在默认目录/usr/local/mysql/data/中

实例图：

2.7 日志查询

#登入mysql
mysql -u root -p[密码]
 
#查看通用查询日志是否开启
show variables like 'general%';	
#查看二进制日志是否开启
show variables like 'log_bin%';									
#查看慢查询日功能是否开启
show variables like '%slow%';								
#查看慢查询时间设置
show variables like 'long_query_time';						
#在数据库中设置开启慢查询的方法
set global slow_query_log=ON;