深入剖析MySQL数据库架构:核心组件、存储引擎与优化策略(二)

update语句的执行流程

增删改

缓存不太一样:buffer pool缓存区

mysql想完成数据的修改,会先从存储引擎层读取数据,把数据读取到服务层进行数据的修改,再通过存储引擎层把数据更新到数据库中。

mysql每次读取数据都会读取16384个字节的数据,默认是16KB的数据。一页的数据。

在innodb引擎中设计了 bufferpool 缓冲区。Mysql从磁盘中通过IO读取数据到buffer pool中,引擎从bffer pool中获取数据,然后修改,再把数据写入到buffer pool中。从而完成读写的操作,因为是基于内存的操作,所以速度是非常快的。

bufferpool防止大量的数据修改,数据库承受不了

刷盘操作

innodb存储引擎一张表产生两个物理文件。

脏数据:buffer pool中的数据,还没有同步到磁盘中的数据称为脏数据。

innodb的脏页刷新机制说明(3个状态):

1、当innodb中的脏页比例超过innodb_max_dirty_pages_pct_lwm的值时,这个时候innodb就会开始刷新脏页到磁盘。-----达到阈值,开始刷脏

2、当innodb中的脏页比例超过innodb_max_dirty_pages_pct_lwm的值,而且还超过innodb_max_dirty_pages_pct时innodb就会进入勤快刷新模式(agressively flush)这个模式下innodb会把脏页更快的刷新到磁盘。-----勤快的刷脏

3、还有一种情况叫做sharp checkpoint ,当innodb要重用它之前的redo文件时,就会把innodb_buffer_pool中所有与这个文件有关的页面都要刷新到磁盘;这样做就有可能引起磁盘的IO风暴了,轻者影响性能,重者影响可用性。----一直刷盘

对于控制刷新机制的各个参数的说明:

1、innodb_max_dirty_pages_pct默认值为75,也就是说当脏页比例超过75%时才会进入勤快刷新模式。

2、innodb_max_dirty_pages_pct_lwm默认值是0,0对于innodb_max_dirty_pages_pct_lwm来说是一个特殊值,它表示不启用这个功能;由于没有启用这个功能,也就是说innodb_buffer_pool中的脏页比例会操持在75%左右。

后台常用的线程:

master thread 主线程

IO thread IO操作的线程

Purge thread 清理数据和日志的线程

Page C1eaner thred 刷脏的线程

show VARIABLES like'%dirty_page%'; 查看关于脏页相关的配置。

查看buffer pool的大小,默认是128M

show VARIABLES like '%innodb_buffer_pool%';

数据存储到buffer pool中,默认是128M,如果buffer pool存满了,那么innodb引擎会使用改良的LRU算法清理数据。

注意:LRU算法是最近最久未使用法,mysql会对LRU的算法进行改良。

buffer pool不会自动清理,使用lru算法清理已经刷到磁盘上的数据。

冷热分离的方式。

问题:innodb引擎把数据存入到bufferpool中,如果还没来得及把数据刷新到磁盘上,这个时候数据库的服务挂掉了,那么数据就丢失了?mysql是如何解决这个问题的呢?-------日志(3个)

redo log 日志

为了解决该问题,mysql设计了redo log的日志,基于磁盘的方式存储的。

问题:数据没有直接存入到磁盘上,而是先存入到buffer pool中,然后再刷入磁盘,目的是为了性能考虑,但是现在有需要存入到redo log 日志的磁盘文件中,这样性能不就下降了?

答案:性能肯定是会有一些影响,但是需要保证数据可恢复的能力。写入redo log磁盘文件中的速度会更快一些。

随机磁盘IO和顺序磁盘IO的区别。

随机磁盘IO的情况是数据是会分散到不同的扇区去存储,因为底层是通过索引的顺序来存储,索引会存储到不同的扇区。那么更新数据的时候会增加寻道的时间,写入数据会变慢。

顺序磁盘IO是按着顺序追加写入的。

通过命令查看innodb_log相关的信息。

show VARIABLES like'%innodb_log%';

3重保障

悲观锁在数据被修改提交前,会先加上锁,防止其他事务对数据进行修改

乐观锁则是假设数据在使用过程中不会发生冲突,只在数据提交更新时检查是否有冲突

LRU算法---最长最久未使用的数据

改良的LRU算法:冷热数据,5/8放热数据,3/8放冷数据

热数据(双十一相关的数据)

先读到冷数据将需要的数据放到热数据中,优点:整页读取会读到不想要的数据

整页读取会读到不想要的数据,热数据会被删除,先要再次读取热数据时又需要访问IO流。

相关推荐
Paraverse_徐志斌4 小时前
MySQL 线上大表 DDL 如何避免锁表(pt-online-schema-change)
数据库·mysql·ddl·mysql锁·锁表·pt-osc
哈哈幸运4 小时前
MySQL运维三部曲初级篇:从零开始打造稳定高效的数据库环境
linux·运维·数据库·mysql·性能优化
愚公搬代码4 小时前
【愚公系列】《Python网络爬虫从入门到精通》055-Scrapy_Redis分布式爬虫(安装Redis数据库)
数据库·爬虫·python
pwzs4 小时前
深入浅出 MVCC:MySQL 并发背后的多版本世界
数据库·后端·mysql
大熊猫今天吃什么5 小时前
【一天一坑】空数组,使用 allMatch 默认返回true
前端·数据库
双叶8365 小时前
(51单片机)LCD显示数据存储(DS1302时钟模块教学)(LCD1602教程)(独立按键教程)(延时函数教程)(I2C总线认识)(AT24C02认识)
c语言·数据库·单片机·嵌入式硬件·mongodb·51单片机·nosql
XY.散人5 小时前
初识Redis · C++客户端list和hash
数据库·redis·缓存
码上飞扬6 小时前
深入 MySQL 高级查询:JOIN、子查询与窗口函数的实用指南
数据库·mysql
海洋与大气科学6 小时前
【matlab】地图上的小图
开发语言·数据库·matlab
Geek__19927 小时前
Sqlite3交叉编译全过程
jvm·数据库·sqlite