为什么会有“建议MySQL单表数据控制在2000W”的说法?

前言

经常听到"建议MySQL单表数据控制在2000W"这样的说法,这个说法的背后是因为表数据量过大会导致查询性能低下。那么2000W是怎么来的?

行记录是如何存储的?

这得从MySQL存储设计说起,以InnoDB存储引擎为例:

  1. InnoDB是以页为单位进行存储和管理数据的,目的是为了减少磁盘IO的次数,‌提高数据的读写速度。‌
  2. 为了提高查询效率,InnoDB以索引组织表数据,且每张表至少会有一个索引(聚簇/主键索引)。

所以,在组织表数据时会存在索引页 和数据页。不论是哪种页,其结构是一样的,大概是这样的:

更详细的说明请移步至《面试官:存储引擎InnoDB是如何快速定位到行数据的?》

图中的「用户数据」可以存放多少行记录是至关重要的,因为它关系到"单表数据控制在2000W"的这个说法是否成立。

那么,索引页和数据页可以存放多少行记录?

数据页可以存放多少行记录?

InnoDB页大小默认为16KB,「文件头」、「页头」、「页目录」等占用了1/16的空间,剩下的15KB就用来存行记录。

索引页存放的数据是索引和指针 ,数据页则存放的是完整的行数据。

通常我们的主键都是数值类型(int、bigint...),以bigint为例,一行索引记录会占用8B加上指针占用的空间6B,也就是14B。那么索引页就可以存放15*1024/14≈1098行记录。

数据页能存放多少行记录则需要看每个字段占用多少空间来估算,这里假设一行记录是1KB,那么数据页可以存放15行记录。

基于以上的情况,InnoDB是如何以索引组织2000W数据的?

InnoDB如何以索引组织2000W数据?

以B+tree索引结构为例,其叶子结点是数据页,非叶子结点为索引页。

  • 如果树的高度为2,1层索引页和数据页,那么可以存放1098*15≈2W行记录。
  • 如果树的高度为3,2层索引页和1层数据页,那么可以存放1098*1098*15≈2000W行记录。
  • 如果树的高度为4,3层索引页和1层数据页,可以存放1098*1098*1098*15≈200000W行记录。

如此看来,"建议MySQL单表数据控制在2000W"并不是没有道理的。因为树高度过高时,会有以下两个原因导致查询速度变慢:

  1. 树高度过高,意味着在进行数据检索时需要进行更多的磁盘I/O操作。
  2. 在这样大的数据量下,索引的体积也会很大,维护索引结构的复杂度也会相应提高。

总结

综上所述,"建议MySQL单表数据控制在2000W"是根据每行记录大小为1KB估算的,并非一个标准,还是要根据实际情况去决定单表的数据量。

相关推荐
秋风点枝2 分钟前
数据库 01 · 体系结构与存储引擎
数据库·mysql
小此方14 分钟前
Re:Mysql数据库基础篇(五):拒绝脏数据!一文吃透MySQL表的约束(主键、唯一键、外键与实战案例)
数据库·mysql
念何架构之路32 分钟前
Go reflect包值操作 Value 的读写、可设置性与 interface 布局
开发语言·后端·golang
小林ixn35 分钟前
用 FastAPI + SQLAlchemy 从零手搓一个博客系统:一套能落地、能讲清楚的 RESTful 后端
后端·python·fastapi
翔云12345643 分钟前
Gaea(小米MySQL Proxy)整体架构
运维·数据库·mysql
不识君43 分钟前
esl-client 2.0.0 发布:Java 项目接入 FreeSWITCH,从引入到使用
spring boot·后端·开源
牧瀬クリスだ1 小时前
Redis五大数据类型全解析:从入门到实战
java·数据库·redis·后端·缓存
Rain的Java大神之路1 小时前
北漂 13 年,我把 Java 家底钉成了这张知识图谱(全站免费)
java·后端·程序员
Amos_Web1 小时前
通过 Rspack 源码学 Rust(一):`mod`、`pub` 与 `use crate`/`use super`
后端
张彦峰ZYF2 小时前
拆得开不等于该拆开:微服务与模块化单体的边界判据、规模阈值、团队适配与一致性代价
后端·微服务·边界是否稳定·扩展天花板是否到顶·有无小组能独立值班·独立部署的自由会否被用上·这一刀是否切断不可降级的不变量