mysql整体架构描述

问道飞鱼2024-09-12 23:29

文章目录

数据库架构

MySQL是一个开源的关系型数据库管理系统，广泛应用于各种Web应用和数据存储场景。以下是MySQL的主要架构组件：

示意图

1. 连接层

  • 客户端库：应用程序通过客户端库与MySQL服务器进行通信。
  • 连接管理器：负责处理客户端的连接请求，包括认证、授权和会话管理。

2. 服务层

  • SQL接口：接收并解析SQL语句。
  • 查询优化器：分析SQL语句，选择最优的执行计划。
  • 缓存：包括查询缓存和InnoDB缓冲池，用于提高查询性能。
  • 内置函数：提供各种内置函数，如字符串处理、数学计算等。
  • 存储引擎接口：提供统一的接口供不同的存储引擎使用。

3. 存储引擎层

  • InnoDB：默认的存储引擎，支持事务、行级锁和外键。
  • MyISAM：早期的存储引擎，不支持事务，但读取速度快。
  • Memory：将数据存储在内存中，适用于临时表和缓存。
  • CSV：用于存储CSV格式的数据。
  • Archive：用于存储历史数据，支持高效的插入和压缩。
  • Federated：允许访问远程MySQL服务器上的表。

4. 文件系统层

  • 数据文件：存储表和索引的数据文件。
  • 日志文件：包括错误日志、查询日志、慢查询日志和二进制日志等。
  • 配置文件 ：包含MySQL的配置信息，如my.cnf或my.ini。

5. 系统层

  • 操作系统：MySQL运行在各种操作系统上，如Linux、Windows和macOS。
  • 硬件：包括CPU、内存、磁盘和网络设备等。

主要特性

  • 事务支持：InnoDB存储引擎支持ACID事务。
  • 多线程：支持多线程并发访问，提高性能。
  • 复制：支持主从复制和组复制，实现数据的高可用性和负载均衡。
  • 分区：支持表的分区，提高查询性能和管理效率。
  • 视图：提供虚拟表，简化复杂查询。
  • 触发器：在特定事件发生时自动执行SQL语句。

数据库文件格式

MySQL 使用多种文件来存储数据和元数据，不同存储引擎会有不同的文件类型和格式。以下是 MySQL 中常见的一些文件类型及其用途和内容格式：

InnoDB 存储引擎

文件类型及用途

  1. .frm 文件：

    • 用途：存储表定义信息。
    • 内容格式：二进制格式，包含表结构的定义。

  2. .ibd 文件：

    • 用途 ：每个 InnoDB 表有一个 .ibd 文件，存储该表的数据和索引。
    • 内容格式：二进制格式，包含表数据和索引信息。

  3. ibdata1, ibdata2, ...：

    • 用途：共享表空间文件，存储 InnoDB 的系统表空间数据。
    • 内容格式：二进制格式，包含系统表和其他表的数据。

  4. ib_logfile0, ib_logfile1：

    • 用途：重做日志文件，记录事务更改。
    • 内容格式：二进制格式，包含事务的重做日志记录。

  5. undo 文件夹下的文件：

    • 用途：存储未提交事务的撤销信息。
    • 内容格式：二进制格式，包含撤销段信息。

  6. doublewrite 文件夹下的文件：

    • 用途：用于提高数据页写入的安全性。
    • 内容格式：二进制格式，包含数据页的双写缓冲区信息。

MyISAM 存储引擎

文件类型及用途

  1. .frm 文件：

    • 用途：存储表定义信息。
    • 内容格式：二进制格式，包含表结构的定义。

  2. .MYD 文件：

    • 用途：存储 MyISAM 表的数据。
    • 内容格式：二进制格式，包含表的数据行。

  3. .MYI 文件：

    • 用途：存储 MyISAM 表的索引信息。
    • 内容格式：二进制格式，包含索引信息。

其他文件类型

  1. .sql 文件：

    • 用途：SQL 脚本文件，通常用于备份或导入数据。
    • 内容格式：文本格式，包含 SQL 语句。

  2. .csv 文件：

    • 用途：CSV 格式的文件，可用于存储数据。
    • 内容格式：文本格式，包含逗号分隔的数据。

  3. .err 文件：

    • 用途：错误日志文件，记录 MySQL 运行期间的错误信息。
    • 内容格式：文本格式，包含错误信息。

  4. .pid 文件：

    • 用途：进程 ID 文件，记录 MySQL 服务的进程 ID。
    • 内容格式：文本格式，包含一个数字（进程 ID）。

文件内容示例

表结构文件示例 (.frm)

尽管 .frm 文件是二进制格式，不能直接用文本编辑器查看，但我们可以大致描述一下 .frm 文件中包含的信息类型：

  • 表名和数据库名：存储表的名称和所属数据库的名称。
  • 列定义：包括列名、数据类型、长度、是否有默认值、是否允许为空等信息。
  • 索引信息：包括索引类型、索引列的定义等。
  • 表选项：如表的存储引擎（如 InnoDB、MyISAM）、字符集编码、排序规则等。
  • 分区信息：如果表是分区表，则包含分区策略和分区表达式等信息。
  • 其他元数据：如表的状态、创建时间等
InnoDB 数据文件示例（.ibd）

InnoDB 数据文件是以二进制格式存储的，直接查看这些文件的内容通常需要专用工具，如 innodb-tools 或 MySQL 自带的工具。例如，一个 .ibd 文件可能包含如下内容：

  • 表空间头部信息（表空间 ID、创建时间等）。
  • 数据页（每个页大约 16KB，默认情况下）。
  • 索引页（B+Tree 结构）。
MyISAM 数据文件示例（.MYD）

MyISAM 数据文件也是以二进制格式存储的，直接查看这些文件的内容通常需要专用工具。例如，一个 .MYD 文件可能包含如下内容：

  • 数据行记录。
  • 每个记录包含主键、列数据等信息。
SQL 脚本文件示例（.sql）

SQL 脚本文件通常是文本格式，可以直接阅读。例如：

sql 复制代码 
-- 创建表
CREATE TABLE `users` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  -- 更多字段定义
  PRIMARY KEY (`id`)
) ENGINE=InnoDB;

-- 插入数据
INSERT INTO `users` (`name`) VALUES ('John Doe');

这些文件的用途和内容格式各不相同，具体取决于存储引擎和支持的功能。在处理这些文件时，通常使用 MySQL 提供的工具和服务，如 mysqldump、mysqlimport 等。

数据库内存结构

MySQL 的内存结构主要包括几个关键组件，这些组件负责管理内存中的数据缓存、查询缓存、连接池等资源。下面详细介绍 MySQL 内存结构的主要组成部分：

示意图

MySQL Server 层面的内存结构

  1. 线程缓存（Thread Cache）

    • 用途：缓存客户端连接的线程，以减少创建和销毁线程的开销。
    • 管理：由 MySQL 服务器管理，可以根据需要动态调整大小。

  2. 连接池（Connection Pool）

    • 用途：保持一定数量的空闲连接，以便快速响应客户端请求。
    • 管理 ：连接池的大小可以通过 thread_cache_size 配置项设置。

  3. 查询缓存（Query Cache）

    • 用途：缓存 SELECT 查询的结果，以减少重复执行相同查询的开销。
    • 管理 ：查询缓存在 MySQL 8.0 中已被移除，但在之前的版本中可以通过 query_cache_size 配置项控制。

  4. 临时表（Temporary Tables）

    • 用途：用于存储临时数据，如排序操作的结果。
    • 管理：根据配置可以在内存中或磁盘上创建临时表。

  5. 表定义缓存（Table Definition Cache）

    • 用途：缓存表的定义信息，以减少每次访问表结构的开销。
    • 管理 ：可以通过 table_definition_cache 配置项控制。

  6. 表打开缓存（Table Open Cache）

    • 用途：缓存已打开的表，减少打开和关闭表的频率。
    • 管理 ：可以通过 table_open_cache 配置项控制。

  7. 预处理语句缓存（Prepared Statements Cache）

    • 用途：缓存预处理语句，以提高执行效率。
    • 管理 ：可以通过 preparedStatementCacheSize 配置项控制。

InnoDB 存储引擎层面的内存结构

  1. 缓冲池（Buffer Pool）

    • 用途：缓存 InnoDB 表的数据页和索引页，以提高读写性能。
    • 管理 ：通过 innodb_buffer_pool_size 配置项控制大小。

  2. 额外选择数组（Additional Select Array）

    • 用途：用于 InnoDB 存储引擎的 LRU 列表管理。
    • 管理 ：通过 innodb_lru_scan_depth 控制 LRU 列表的扫描深度。

  3. 重做日志缓冲（Redo Log Buffer）

    • 用途：暂存未写入磁盘的重做日志。
    • 管理 ：通过 innodb_log_buffer_size 配置项控制。

  4. 自适应哈希索引（Adaptive Hash Index）

    • 用途：在缓冲池内自动创建的哈希索引，加速索引页的查找。
    • 管理：由 InnoDB 自动维护，无需手动配置。

  5. 插入缓冲（Insert Buffer）

    • 用途：用于延迟更新辅助索引，以减少插入操作的开销。
    • 管理：由 InnoDB 自动管理。

  6. 锁信息结构（Lock System）

    • 用途：管理事务之间的锁定机制。
    • 管理：由 InnoDB 自动管理。

其他组件

  1. 日志文件（Log Files）

    • 用途：包括重做日志（redo log）和二进制日志（binlog），用于数据恢复。
    • 管理：重做日志由 InnoDB 管理，二进制日志由 MySQL 服务器管理。

  2. 慢查询日志（Slow Query Log）

    • 用途：记录执行时间较长的 SQL 查询。
    • 管理 ：通过 slow_query_log 和 long_query_time 配置项控制。

  3. 错误日志（Error Log）

    • 用途：记录 MySQL 服务器运行时的错误信息。
    • 管理 ：通过 log_error 配置项指定错误日志文件位置。

通过合理配置这些内存结构，可以显著提升 MySQL 的性能。然而，需要注意的是，MySQL 的内存使用应当根据实际的工作负载和硬件条件进行优化。

相关推荐
油丶酸萝卜别吃5 分钟前
MyBatis中XML文件的模板
xml·数据库·mybatis
三天不学习7 分钟前
【Select 语法全解密】.NET开源ORM框架 SqlSugar 系列
数据库·.net·orm·微软技术·sqlsugar
CC呢21 分钟前
基于单片机的智能婴儿床监护系统多功能婴儿床摇篮系统
数据库·mongodb
言之。1 小时前
【面试题】构建高并发、高可用服务架构：技术选型与设计
架构
林的快手1 小时前
209.长度最小的子数组
java·数据结构·数据库·python·算法·leetcode
HEU_firejef2 小时前
Redis——缓存预热+缓存雪崩+缓存击穿+缓存穿透
数据库·redis·缓存
KELLENSHAW2 小时前
MySQL45讲 第三十七讲 什么时候会使用内部临时表？——阅读总结
数据库·mysql
四七伵3 小时前
MySQL外键类型与应用场景总结：优缺点一目了然
mysql
SelectDB3 小时前
飞轮科技荣获中国电信星海大数据最佳合作伙伴奖！
大数据·数据库·数据分析
热门推荐
0119个Web前端交互式3D JavaScript框架和库02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04RAG 实践- Ollama+RagFlow 部署本地知识库05【一文读懂】NTN（非地面网络）技术介绍06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO08组基轨迹建模 GBTM的介绍与实现（Stata 或 R）09Docker 夺命连环 15 问10大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）