MySQL虚拟列提高检索效率

介绍

MySQL 5.7 开始支持了一个新特性 虚拟列(Generated columns , 又称生成列 / 计算列) ,该列的值是通过在列定义时包含的一个计算表达式得到的。

作用: 当我们在where语句中对表内列进行计算时,会导致索引失效而降低查询效率,这种情况可以通过创建虚拟列,提前对字段进行计算,在查询时候直接通过虚拟列筛选即可。

使用场景:

  • 需要对json列进行操作:

    mysql 复制代码
    -- 对JSON列进行操作时,无法走索引,此时可以通过创建虚拟列直接计算结果,提高筛选效率。
    select * from table
    where 
    JSON_CONTAINS(t1.server_types,JSON_OBJECT('serverType', 1)) 
    or 
    JSON_CONTAINS(t1.server_types,JSON_OBJECT('serverType', 2)) 
  • 排序时通过多个字段计算:

    mysql 复制代码
    -- 可以建立虚拟列直接存储计算后的结果,然后再建立索引 提高order by效率。
    select * from table
    order by has_resource desc, (visit_score * 0.5 + follow_score * 0.3 + app_score * 0.2 + add_score) desc

语法及注意事项

建立虚拟列语法

mysql 复制代码
-- GENERATED ALWAYS可以省略
-- VIRTUAL或 STORED表示虚拟列的存储方式。
ALTER TABLE 表名称 add column 虚拟列名称 虚拟列类型 [GENERATED ALWAYS] as (表达式) [VIRTUAL | STORED];

-- 示例:
-- 通过birthday计算年龄
ALTER TABLE test add column age int as (DATE_FORMAT(FROM_DAYS(TO_DAYS(NOW())-TO_DAYS(birthday)), '%Y')+0 STORED);

虚拟列存储方式

  • VIRTUAL(默认):不存储列值,在读取表的时候自动计算并返回,不消耗任何存储,这种存储方式仅 InnoDB 支持设置索引。
    • 不会占用额外的物理存储空间来存储计算结果,每次查询时根据定义的表达式动态生成值。
    • 提高查询效率的原因在于它可以简化查询语句和查询过程。例如,假设你经常需要在一个复杂表达式的结果上进行过滤或排序,而这个表达式是基于表中其他字段计算得出的。通过创建一个虚拟列,MySQL可以在内部自动处理这个计算,避免在每个查询中重复执行相同的计算逻辑,特别是在JOIN、GROUP BY或者ORDER BY等操作中使用到该计算结果时,可以减少查询的CPU消耗。
  • STORED:在插入或更新时计算存储列值,存储的虚拟列需要存储空间,并且 MyISAM 也可以设置索引。
    • 直接存储在硬盘,检索效率更高。
    • 增删改时维护,会降低DML语句性能。

虚拟列的注意事项

VIRTUAL 和 STORED类型如何选择:

  1. 如果表不经常修改,则建议创建 STORED类型
  2. 如果表经常修改,并且计算逻辑不复杂,则建议建立VIRTUAL索引,因为VIRTUAL类型不占用磁盘空间,在执行增删改语句时不会影响性能。
  3. 如果计算逻辑复杂,建议创建STORED类型。

虚拟列允许

  • 允许在一个表中混合使用虚拟列和存储列
  • 允许按虚拟列分区
  • 虚拟列定义可以引用其他虚拟列,但只能引用表中定义较早出现的列。
  • 虚拟列允许修改表达式,但不允许修改存储方式(只能通过删除重新创建来修改)。
  • 可以将 STORED 虚拟列与普通列可以互相转化,但 VIRTUAL 不行。

虚拟列不允许

  • 不允许存储函数可加载函数
  • 不允许存储过程或函数参数
  • 不允许使用变量(系统变量、用户定义变量、局部变量、sysdate()、UUID()等函数)
  • 不允许子查询(只能操作当前表内的字段)
  • 虚拟列定义不允许使用自增 (AUTO_INCREMENT),也不允许使用自增基列
  • 外键约束不能引用虚拟列
  • 触发器不能使用或引用虚拟列
  • 被虚拟列引用的基列不允许使用外键约束、AS 或引用操作。

使用案例

对JSON列进行筛选,性能低时

mysql 复制代码
create table test(
    json_str json
);
-- 假设表内有很多数据
insert into test values
('[{"type":"name","value":"张三"},{"type":"job","value":"JAVA"}]'),
('[{"type":"name","value":"李四"},{"type":"job","value":"GO"}]'),
('[{"type":"name","value":"王五"},{"type":"job","value":"Python"}]'),
('[{"type":"name","value":"老六"},{"type":"job","value":"PHP"}]');

-- 筛选出 job=java的数据,查询速度很慢
select * from test
where
JSON_EXTRACT(json_str, '$[1].value') = 'JAVA';

-- 创建虚拟列,预先存储job值
alter table test add job varchar(20) as (REPLACE(JSON_EXTRACT(json_str, '$[1].value'),'"',''))

-- 直接筛选虚拟列
select * from test where job = 'JAVA'
相关推荐
o(╥﹏╥)9 分钟前
linux(ubuntu )卡死怎么强制重启
linux·数据库·ubuntu·系统安全
阿里嘎多学长24 分钟前
docker怎么部署高斯数据库
运维·数据库·docker·容器
Yuan_o_26 分钟前
Linux 基本使用和程序部署
java·linux·运维·服务器·数据库·后端
Sunyanhui131 分钟前
牛客网 SQL36查找后排序
数据库·sql·mysql
老王笔记44 分钟前
MHA binlog server
数据库·mysql
lovelin+v175030409661 小时前
安全性升级:API接口在零信任架构下的安全防护策略
大数据·数据库·人工智能·爬虫·数据分析
DT辰白2 小时前
基于Redis的网关鉴权方案与性能优化
数据库·redis·缓存
2401_871213302 小时前
mysql高阶语句
数据库·mysql
zxrhhm2 小时前
PostgreSQL的交互式终端使用一系列命令来获取有关文本搜索配置对象的信息
数据库·postgresql