MySQL虚拟列提高检索效率

介绍

MySQL 5.7 开始支持了一个新特性 虚拟列(Generated columns , 又称生成列 / 计算列) ,该列的值是通过在列定义时包含的一个计算表达式得到的。

作用: 当我们在where语句中对表内列进行计算时,会导致索引失效而降低查询效率,这种情况可以通过创建虚拟列,提前对字段进行计算,在查询时候直接通过虚拟列筛选即可。

使用场景:

  • 需要对json列进行操作:

    mysql 复制代码
    -- 对JSON列进行操作时,无法走索引,此时可以通过创建虚拟列直接计算结果,提高筛选效率。
    select * from table
    where 
    JSON_CONTAINS(t1.server_types,JSON_OBJECT('serverType', 1)) 
    or 
    JSON_CONTAINS(t1.server_types,JSON_OBJECT('serverType', 2)) 
  • 排序时通过多个字段计算:

    mysql 复制代码
    -- 可以建立虚拟列直接存储计算后的结果,然后再建立索引 提高order by效率。
    select * from table
    order by has_resource desc, (visit_score * 0.5 + follow_score * 0.3 + app_score * 0.2 + add_score) desc

语法及注意事项

建立虚拟列语法

mysql 复制代码
-- GENERATED ALWAYS可以省略
-- VIRTUAL或 STORED表示虚拟列的存储方式。
ALTER TABLE 表名称 add column 虚拟列名称 虚拟列类型 [GENERATED ALWAYS] as (表达式) [VIRTUAL | STORED];

-- 示例:
-- 通过birthday计算年龄
ALTER TABLE test add column age int as (DATE_FORMAT(FROM_DAYS(TO_DAYS(NOW())-TO_DAYS(birthday)), '%Y')+0 STORED);

虚拟列存储方式

  • VIRTUAL(默认):不存储列值,在读取表的时候自动计算并返回,不消耗任何存储,这种存储方式仅 InnoDB 支持设置索引。
    • 不会占用额外的物理存储空间来存储计算结果,每次查询时根据定义的表达式动态生成值。
    • 提高查询效率的原因在于它可以简化查询语句和查询过程。例如,假设你经常需要在一个复杂表达式的结果上进行过滤或排序,而这个表达式是基于表中其他字段计算得出的。通过创建一个虚拟列,MySQL可以在内部自动处理这个计算,避免在每个查询中重复执行相同的计算逻辑,特别是在JOIN、GROUP BY或者ORDER BY等操作中使用到该计算结果时,可以减少查询的CPU消耗。
  • STORED:在插入或更新时计算存储列值,存储的虚拟列需要存储空间,并且 MyISAM 也可以设置索引。
    • 直接存储在硬盘,检索效率更高。
    • 增删改时维护,会降低DML语句性能。

虚拟列的注意事项

VIRTUAL 和 STORED类型如何选择:

  1. 如果表不经常修改,则建议创建 STORED类型
  2. 如果表经常修改,并且计算逻辑不复杂,则建议建立VIRTUAL索引,因为VIRTUAL类型不占用磁盘空间,在执行增删改语句时不会影响性能。
  3. 如果计算逻辑复杂,建议创建STORED类型。

虚拟列允许

  • 允许在一个表中混合使用虚拟列和存储列
  • 允许按虚拟列分区
  • 虚拟列定义可以引用其他虚拟列,但只能引用表中定义较早出现的列。
  • 虚拟列允许修改表达式,但不允许修改存储方式(只能通过删除重新创建来修改)。
  • 可以将 STORED 虚拟列与普通列可以互相转化,但 VIRTUAL 不行。

虚拟列不允许

  • 不允许存储函数可加载函数
  • 不允许存储过程或函数参数
  • 不允许使用变量(系统变量、用户定义变量、局部变量、sysdate()、UUID()等函数)
  • 不允许子查询(只能操作当前表内的字段)
  • 虚拟列定义不允许使用自增 (AUTO_INCREMENT),也不允许使用自增基列
  • 外键约束不能引用虚拟列
  • 触发器不能使用或引用虚拟列
  • 被虚拟列引用的基列不允许使用外键约束、AS 或引用操作。

使用案例

对JSON列进行筛选,性能低时

mysql 复制代码
create table test(
    json_str json
);
-- 假设表内有很多数据
insert into test values
('[{"type":"name","value":"张三"},{"type":"job","value":"JAVA"}]'),
('[{"type":"name","value":"李四"},{"type":"job","value":"GO"}]'),
('[{"type":"name","value":"王五"},{"type":"job","value":"Python"}]'),
('[{"type":"name","value":"老六"},{"type":"job","value":"PHP"}]');

-- 筛选出 job=java的数据,查询速度很慢
select * from test
where
JSON_EXTRACT(json_str, '$[1].value') = 'JAVA';

-- 创建虚拟列,预先存储job值
alter table test add job varchar(20) as (REPLACE(JSON_EXTRACT(json_str, '$[1].value'),'"',''))

-- 直接筛选虚拟列
select * from test where job = 'JAVA'
相关推荐
IvorySQL1 天前
用生成列提升 JSONB 查询效率:PostgreSQL 三种索引方案实测对比
数据库·postgresql
STDD1 天前
Abiotic Factor多人生存建筑游戏《非生物因素》 专用服务器搭建教程
服务器·数据库·游戏
淼淼爱喝水1 天前
【Ansible 入门实战】三种变量详解
java·linux·数据库·ansible·playbook
云草桑1 天前
Odoo企业商用到底是不是免费的?
数据库·odoo·erp
燕-孑1 天前
redis详解-进阶
数据库·redis·缓存
BGD104501731 天前
datagear(7)-期末作业:综合数据分析
数据库·数据分析
Hoxy.R1 天前
百家争鸣下的 Vastbase G100:一次国产数据库体验与思考
数据库
gf13211111 天前
python_更新飞书多维表格的单项关联字段
数据库·python·飞书
染指11101 天前
8.向量数据库-RAG基础2
大数据·数据库·人工智能·rag
随身数智备忘录1 天前
从点检到全生命周期:设备管理体系能解决哪些场景痛点?一套设备管理体系的实战应用
java·网络·数据库