MySQL统计一个表的行数,使用count(1), count(字段), 还是count(*)?

为什么要使用count函数?

在开发系统的时候,我们经常要计算一个表的行数。比如我最近开发的牛客社区系统,有一个帖子表,其中一个功能就是要统计帖子的数量,便于分页显示计算总页数。

sql 复制代码
CREATE TABLE `discuss_post` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '帖子Id,主键',
  `user_id` varchar(45) DEFAULT NULL COMMENT '贴子所属的用户id,帖子是由谁发表的',
  `title` varchar(100) DEFAULT NULL COMMENT '帖子标题',
  `content` text COMMENT '帖子内容',
  `type` int(11) DEFAULT NULL COMMENT '帖子类型:0-普通; 1-置顶;',
  `status` int(11) DEFAULT NULL COMMENT '帖子状态:0-正常; 1-精华; 2-删除;',
  `create_time` timestamp NULL DEFAULT NULL COMMENT '帖子创建时间',
  `comment_count` int(11) DEFAULT NULL COMMENT '帖子评论数量(回帖、评论、回复)',
  `score` double DEFAULT NULL COMMENT '帖子分数(根据分数进行热度排行)',
  PRIMARY KEY (`id`),
  KEY `index_user_id` (`user_id`)
) ENGINE=InnoDB AUTO_INCREMENT=281 DEFAULT CHARSET=utf8;

统计帖子的总行数:

java 复制代码
<select id="selectDiscussPostRows" resultType="int">
    select count(*)
    from discuss_post
    where status != 2
    <if test="userId!=0">
        and user_id = #{userId}
    </if>
</select>

count(*) MySQL是如何实现的?

对于不同的存储引擎,count(*)的实现方式不一样:

  1. MyISAM存储引擎将一张表的总行数存储在了磁盘上,因此执行count(*)的时候会直接返回这个数,效率很高。
  2. InnoDB存储引擎没有单独记录表的总行数,在执行count(*)的时候是一行一行地从存储引擎里读出来,然后累计计数,效率较低。

为什么InnoDB 不像MyISAM那样,单独把表的总行数存储起来?

这是由于事务造成的,InnoDB是支持事务的,并用MVCC机制实现,这就导致了并不是所有行,当前事务都能观察到。对于还未提交的,或者在当前事务开始之后的事务提交的数据,当前事务都是观察不到的,需要一行一行的做判断,当前行是否对当前事务可见。对于每个事务,表的总行数不是确定的,所以不能单独用一个表将表的总行数存储起来。

举个例子,创建一张表t

sql 复制代码
CREATE TABLE `t` (
  `id` int(11) NOT NULL,
  `c` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB;

由于表t是新创建的,所以总行数是0。

以下三个事务A、B、C按照表中的顺序执行:

时刻 事务A 事务B 事务C
t1 begin; select count(*) from t; // 返回 0
t2 insert into t (id, c) values(1,1);
t3 begin;
t4 insert into t (id, c) values(2,2);
t5 select count(*) from t; // 返回 0 select count(*) from t; // 返回 2 select count(*) from t; // 返回 1
t6 commit;

可以看到,即使是在同一时刻(t5)执行的查询,计算表的总行数,由于MVCC机制,每个事务看到的表的范围不一样,得到的结果也不一样。

这和InnoDB事务设计有关,可重复读是InnoDB默认的隔离级别,在代码上就是通过多版本并发控制,也就是MVCC机制实现的。每一行都有判断自己是否对当前事务可见,因此,对于count(*)请求来说,InnoDB只好把数据一行一行读出来依次判断,可见的行才能用于计算当前事务执行的查询表的总行是。

InnoDB在执行count(*)时做了什么优化?

InnoDB是索引组织表(聚簇索引),主键索引树的叶子节点存放的是数据,而普通索引树上的叶子节点是主键值。所以,普通索引树比主键索引树要小得多。对于count(*)这样的操作,遍历哪个索引树得到的结果逻辑上都是一样的,因此InnoDB会找最小的那棵索引树来进行遍历。保证逻辑结果正确的前提下,尽量减少扫描的数据量,是数据库数据库设计的通用法则之一

为什么不用show table status来查看某张表的总行数?

使用sql命令,查看表t的状态:

sql 复制代码
show table status like 't'\G

Rows字段记录了表t的行数,虽然这里是准确的,但随着表中的记录增加,Rows的精确度会下降。因为Rows是通过采样估计出来的,所以不精确,MySQL官方给出的误差是40%到50%,所以这个命令也不能用来统计表的行数。

使用Redis缓存,记录数据库表的总行数,可以吗?

使用Redis缓存,记录数据库表的总行数,如果增加一条记录,计数加1,删除一条记录,计数减1。着看起来似乎可以,但是Redis缓存有以下缺点:

  1. 可能会丢失更新,还未持久化Redis就重启了,刚才计树就丢失。
  2. 逻辑上是不准确的。
    对于第1点,可以在Redis重启时,使用count(*)命令再获取一次表的总行数。由于重启发生的概率很低,count(*)带来的性能问题是可以容忍的。
    对于第2点,由于Redis记录表的总行数在逻辑上就是不准确的,这是不能容忍的。举个例子,假设某个页面需要统计数据库中最新100条操作和表的总行数。表的总行数是记录在Redis中的,插入一条数据,Redis计数就加1;删除一条数据,Redis记录就减1。

假设事务A进行了操作,向表插入了一条记录,然后Redis加1;事务B统计数据库中最新100条操作和表的总行数。由于多线程的执行顺序是随机的,如果按照以下执行序列执行:

时刻 事务A 事务B
t1 向表中插入一条记录
t2 统计数据库中最新100条操作和表的总行数
t3 Redis计数加1

对于上表这种执行序列,从事务B中的统计结果会发现,最新的100条操作已经更新了,但是表的总行数没有加1。

时刻 事务A 事务B
t1 Redis计数加1
t2 统计数据库中最新100条操作和表的总行数
t3 向表中插入一条记录

对于上表这种执行序列,从事务B中的统计结果会发现,最表的总行数没有加1了,但最新的100条操作还没有更新。

本文的大纲?

如何使用数据表统计?

使用Redis缓存统计表的总行数,有丢失数据和计数不精确的问题。我们可以将表的总行数记录在数据库中单独的一张数据库表。由于InnoDB支持事务,我们可以利用事务的特性,解决特定执行序列,Redis计数逻辑上不精确的问题。

举个例子,用创建一张新的表C,专门记录原来这种表的总行数。

时刻 事务A 事务B
t1 begin; 向表中插入一条记录
t2 统计数据库中最新100条操作和表的总行数
t3 表C字段计数加1 commit;
时刻 事务A 事务B
t1 begin; 表C字段计数加1
t2 统计数据库中最新100条操作和表的总行数
t3 向表中插入一条记录 commit;

对于上面两种表的执行序列,由于事务B统计数据库中最新100条操作和表的总行数,由于事务A还没有提交,所以看不到最新的插入记录,也看不到表C字段计数 加1操作,所以,保证了事务B读到的数据逻辑一致性。

MyISAM、InnoDB、show table status、Redis、计数表 统计行数比较?

  • MyISAM使用count(*)很快,但是不支持事务。
  • show table status命令执行很快,但是不准确。
  • InnoDB直接count(*)会扫描全表,虽然结果准确,但会导致性能问题。
  • Redis虽然性能高,但是可能会丢失更新,且逻辑上是不正确的。
  • 数据库表字段记录总行数,利用事务的特性,解决Redis缓存记录逻辑上不准确的问题。

count(*), count(1), count(id), count(字段)比较?

一、count函数语义:

java 复制代码
public boolean count(Object o){
	return o == null?
}

二、不同的调用方式

调用方式 语义 InnoDB引擎实现方式 SQL是否进行了优化
count(*) 返回满足条件的结果集的总行数 按行累加
count(1) 返回满足条件的结果集的总行数 遍历整张表,但不取值。server层对于返回的每一行,将1作为实参,调用count函数。该判断不可逆为空的,按行累加。
count(id) 返回满足条件的结果集的总行数 遍历整张表,把每一行的id取值取出来,返回给server层。server层拿到id值之后作为实参,调用count函数。该判断是不可能为空的,按行累加。
count(字段) 返回满足条件的数据行里面,参数"字段"不为NULL的总个数 遍历整张表,把每一行字段值取出来,返回给server层。server层拿到字段值之后作为实参,调用count函数。如果字段不为NULL,按行累加;如果字段为NULL,不加1。
相关推荐
苹果醋31 小时前
React源码02 - 基础知识 React API 一览
java·运维·spring boot·mysql·nginx
了一li2 小时前
Qt中的QProcess与Boost.Interprocess:实现多进程编程
服务器·数据库·qt
码农君莫笑2 小时前
信管通低代码信息管理系统应用平台
linux·数据库·windows·低代码·c#·.net·visual studio
别致的影分身2 小时前
使用C语言连接MySQL
数据库·mysql
过过过呀Glik2 小时前
在 Ubuntu 上安装 MySQL 的详细指南
mysql·ubuntu
京东零售技术4 小时前
“慢”增长时代的企业数据体系建设:超越数据中台
数据库
sdaxue.com4 小时前
帝国CMS:如何去掉帝国CMS登录界面的认证码登录
数据库·github·网站·帝国cms·认证码
o(╥﹏╥)5 小时前
linux(ubuntu )卡死怎么强制重启
linux·数据库·ubuntu·系统安全
阿里嘎多学长5 小时前
docker怎么部署高斯数据库
运维·数据库·docker·容器
Yuan_o_5 小时前
Linux 基本使用和程序部署
java·linux·运维·服务器·数据库·后端