MySQL 的基础 一 (连接池, SQL接口, 查询解析器, 查询优化器, 存储引擎接口, 执行器)

目录

[1 MySQL数据库的连接池](#1 MySQL数据库的连接池)

[2 网络连接必须让线程来处理](#2 网络连接必须让线程来处理)

[3 SQL接口:负责处理接收到的SQL语句](#3 SQL接口:负责处理接收到的SQL语句)

[4 查询解析器:让MySQL能看懂SQL语句](#4 查询解析器:让MySQL能看懂SQL语句)

[5 查询优化器:选择最优的查询路径](#5 查询优化器:选择最优的查询路径)

[6 调用存储引擎接口,真正执行SQL语句](#6 调用存储引擎接口,真正执行SQL语句)

[7 执行器:根据执行计划调用存储引擎的接口](#7 执行器:根据执行计划调用存储引擎的接口)


1 MySQL数据库的连接池

当多个系统访问同一个数据库时,每个系统会通过数据库连接池创建多个连接供多线程使用。同样,MySQL 也需要维护与这些系统的多个连接。因此,MySQL 架构的第一个环节是连接池,它负责维护这些连接。同时,每次系统连接 MySQL 时,MySQL 都会根据提供的账号和密码进行身份验证,并检查库表权限。

2 网络连接必须让线程来处理

当数据库服务器的连接池中的某个连接接收到网络请求(如一条 SQL 语句)时,谁负责监听并处理这个请求呢?

其实,网络连接的处理需要分配给一个线程。这个线程负责监听网络请求,并从连接中读取数据,随后解析并执行 SQL 语句。如果你熟悉计算机的基础知识,就会知道线程在这种情况下是关键,它负责从网络连接中读取请求并进行处理,如下图所示。

3 SQL接口:负责处理接收到的SQL语句

MySQL 内部首先提供了一个 SQL 接口(SQL Interface)组件,它专门用于执行我们发送给 MySQL 的增删改查 SQL 语句。当工作线程接收到 SQL 语句后,会将其交给 SQL 接口处理并执行。SQL 接口负责将这些请求转化为 MySQL 能理解的操作,如下图所示。

4 查询解析器:让MySQL能看懂SQL语句

当我们执行一个 SQL 语句,例如:

SELECT id, name, age

FROM users

WHERE id = 1;

人脑可以立刻理解它的含义:查询 users 表中 id 等于 1 的那行数据,并提取 id, name, age 三个字段。然而,MySQL 是一个数据库管理系统,不能直接理解这些 SQL 语句。

因此,查询解析器(Parser) 就显得非常重要。它负责解析 SQL 语句,将其分解为 MySQL 可以理解的操作步骤。以这个查询为例,查询解析器会将 SQL 拆解为以下几个部分:

  1. 要从 users 表中查询数据。
  2. 查询条件是 id 等于 1。
  3. 返回的结果应包括 id, name, age 三个字段。

SQL 解析 就是根据 SQL 语法规则解析并理解 SQL 语句的含义,明确这条语句的操作目的,如下图所示。

5 查询优化器:选择最优的查询路径

当解析器理解了 SQL 语句的目标后,接下来由 查询优化器(Optimizer) 来选择一个最优的查询路径,以确保查询执行效率最高。

让我们继续使用之前的例子:

SELECT id, name, age FROM users WHERE id = 1;

解析器已经理解到这是要从 users 表中找到 id 等于 1 的记录,并提取 id, name, age 三个字段。接下来,优化器就会根据不同的查询路径,选择最优的执行方案。以下是两个简单的路径示例(仅用于理解,并非实际 MySQL 机制):

**路径 1:**直接定位到 users 表中 id 等于 1 的那行数据,然后提取 id, name, age 三个字段。这通常是通过索引快速定位数据的方式,速度更快。
**路径 2:**遍历整个 users 表,逐行读取每条记录的 id, name, age,然后过滤出 id 等于 1 的那行数据。这个路径效率较低,因为需要扫描整个表。

虽然这两种路径都可以完成查询,但显然第一种路径更快、更高效。因此,查询优化器 的任务就是为你写的 SQL 语句生成一棵查询路径树,然后选择其中执行效率最高的一条路径。

通过选择最优路径,MySQL 会更高效地执行 SQL 语句,相当于优化器在后台帮你决定了以什么顺序和步骤完成查询,从而提高了整体查询性能。

6 调用存储引擎接口,真正执行SQL语句

最后一步是将查询优化器选择的最优查询路径,也就是 SQL 语句的执行计划,交给 MySQL 的底层 存储引擎 来执行。这是 MySQL 架构设计中一个非常重要且有特色的部分。

我们可以思考一下,SQL 语句执行的最终目的就是访问和操作数据。那么,数据究竟存放在哪里呢?

在 MySQL 中,数据既可能存放在内存 中,也可能存放在磁盘文件中。具体来说:

  • 如果数据经常被访问,可能会被缓存在内存中,以便快速读取。
  • 较大的数据文件或冷数据则通常存放在磁盘中,通过存储引擎负责读取和写入。

存储引擎是 MySQL 系统与底层数据存储之间的接口,它负责管理数据的物理存储和检索。不同的存储引擎(如 InnoDB、MyISAM 等)具有不同的特性,决定了数据如何存储、更新、查询和处理。

现在我们知道 SQL 语句的执行步骤,但问题在于:如何确定哪些数据在内存中,哪些数据在磁盘上?当我们执行 SQL 语句时,是更新内存中的数据,还是直接更新磁盘上的数据?如果要更新磁盘上的数据,又是如何找到具体的磁盘文件并进行更新呢?

这时,存储引擎 就起到了关键作用。存储引擎负责具体的执行操作,包括查询内存缓存、更新磁盘数据、查询磁盘数据等。它按照一定的逻辑流程来处理数据,决定是否需要从磁盘中读取数据、将数据加载到内存中、或者在必要时更新磁盘中的数据。

存储引擎执行的流程可能如下:

  1. 首先检查数据是否已经在内存缓存中,如果是,则直接在内存中操作,避免频繁的磁盘读写。
  2. 如果数据不在内存中,存储引擎会从磁盘文件中读取相关数据,将其加载到内存中供查询或更新使用。
  3. 当需要更新数据时,存储引擎可能先更新内存中的缓存数据,然后根据策略(如事务提交或定期刷新)将数据写入磁盘。

存储引擎在执行这些操作时,还涉及到如何高效管理缓存、如何保持数据的一致性、以及如何在磁盘上优化读写性能。因此,它在整个 MySQL 的 SQL 语句执行过程中扮演了核心的角色。

MySQL的架构设计中,SQL接口、SQL解析器、查询优化器其实都是通用的,他就是一套组件而已。

但是存储引擎的话,他是支持各种各样的存储引擎的,比如我们常见的InnoDB、MyISAM、Memory等等,我们是可以选择使用哪种存储引擎来负责具体的SQL语句执行的。

目前,InnoDB 是 MySQL 默认且最常用的存储引擎,它支持事务、外键和行级锁,能够更好地满足现代数据库系统的需求。至于每种存储引擎的工作原理和内部机制,我们可以在后续深入分析,不必急于理解。

7 执行器:根据执行计划调用存储引擎的接口

在 MySQL 中,存储引擎负责处理数据的存取操作,比如访问内存和磁盘上的数据。然而,存储引擎并不会直接运行 SQL 语句,真正执行 SQL 语句的是 执行器

执行器 的作用是根据查询优化器生成的执行计划,调用存储引擎的接口,按步骤执行 SQL 语句的逻辑。执行器负责调度和控制 SQL 的执行流程,确保语句按照最优路径被正确执行。

例如,对于以下 SQL 语句:

SELECT id, name, age FROM users WHERE id = 1;

执行器的工作流程可能是这样的:

  1. 执行器首先调用存储引擎的接口,从 `users` 表中获取第一行数据。

  2. 执行器检查该行数据的 `id` 是否等于 1。

  3. 如果 `id` 不等于 1,则执行器继续调用存储引擎接口,获取下一行数据。

  4. 一旦找到 `id = 1` 的那行数据,执行器会提取 `id`, `name`, `age` 并返回结果。

执行器会不断调用存储引擎的接口,依次进行数据的读取、判断、过滤和操作,直至 SQL 语句的执行计划完全执行完毕。

通过执行器的调度,SQL 语句的执行顺序得以实现,确保每一步操作按照优化器的方案高效执行。

相关推荐
云和数据.ChenGuang1 小时前
Django 应用安装脚本 – 如何将应用添加到 INSTALLED_APPS 设置中 原创
数据库·django·sqlite
woshilys2 小时前
sql server 查询对象的修改时间
运维·数据库·sqlserver
Hacker_LaoYi2 小时前
SQL注入的那些面试题总结
数据库·sql
建投数据3 小时前
建投数据与腾讯云数据库TDSQL完成产品兼容性互认证
数据库·腾讯云
Hacker_LaoYi4 小时前
【渗透技术总结】SQL手工注入总结
数据库·sql
岁月变迁呀4 小时前
Redis梳理
数据库·redis·缓存
独行soc4 小时前
#渗透测试#漏洞挖掘#红蓝攻防#护网#sql注入介绍06-基于子查询的SQL注入(Subquery-Based SQL Injection)
数据库·sql·安全·web安全·漏洞挖掘·hw
你的微笑,乱了夏天4 小时前
linux centos 7 安装 mongodb7
数据库·mongodb
工业甲酰苯胺5 小时前
分布式系统架构:服务容错
数据库·架构
独行soc6 小时前
#渗透测试#漏洞挖掘#红蓝攻防#护网#sql注入介绍08-基于时间延迟的SQL注入(Time-Based SQL Injection)
数据库·sql·安全·渗透测试·漏洞挖掘