查询优化之“查询分离”

什么业务场景需要使用查询分离

当数据在任何时候都可能被修改和查询的场景下,就不适合采用冷热分离来解决问题。而读写分离方案得到的工单查询速度提升是有限的,它主要还是用在数据库高并发的场景中。查询分离可以有效提升数据的查询效率,即将更新的数据放在主数据库里,而查询的数据放在另外一个专门针对搜索的存储系统里。

何时触发和如何实现查询分离

一般来说,查询分离的触发逻辑分为3种:

1)修改业务代码,在写入常规数据后同步更新查询数据,该方式适用于业务代码比较简单,对写操作响应时间要求不高的业务场景。

2)修改业务代码,在写入常规数据后异步更新查询数据,该方式适用于业务代码比较简单,对写操作响应时间要求高的业务场景。

3)监控数据库日志,如有数据变更,则更新查询数据,该方式适用于业务代码比较复杂,代码改动代价较高的情况。

三种方式的优缺点比较:

如何存储查询分离的数据

目前开发者们主要使用Elasticsearch实现大数据量的搜索查询,当然还可能用到MongoDB、HBase这些技术,这就需要开发者对各种技术的特性了如指掌后再进行技术选型。

HBase可以存储海量数据,但是其设计初衷并不是用来做复杂查询,即使可以做到,效率也不高。而此处的工单查询复杂度很高,所以项目组最后锁定的两个选项是MongoDB和Elasticsearch。

技术选型不仅要考虑业务场景,也要考虑技术人员的技术结构,对技术是否有经验和熟悉。

相关推荐
java1234_小锋14 分钟前
Redis 宣布正式接入 AI
数据库·人工智能·redis
这个DBA有点耶24 分钟前
数据融合平台的下一代形态:数据库内核自己就能融合,为什么还要ETL?
数据库·架构·aigc
数据库小学妹29 分钟前
MySQL大表怎么优化?2亿行表的分区归档与冷热分离实战
数据库·mysql·分库分表·分区表·数据库运维·冷热分离
91刘仁德32 分钟前
RAG实战 - 向量数据库(Milvus)
数据库·milvus
资深技术分享员37 分钟前
Geejing WebBuilder 日志、在线用户、系统监控,出问题时的三个第一现场
java·运维·数据库
我是小白呀1 小时前
n8n 实战:把 AcmeFlow 的 READY 事件接到 CRM 通知
数据库·人工智能·workflow
蓝速科技1 小时前
仓储盘点移动终端选型与蓝速科技 K10 实战方案
运维·数据库·人工智能·科技·材质
TLA技术2 小时前
LogMiner vs 裸日志解析(六):想提速,只能“堆实例”,结果把源库拖垮
数据库·oracle·flink·dba·迁移学习
学好statistics和DS2 小时前
数据库数据世界的逻辑基石:Armstrong公理系统全解析
数据库·数据库开发
IT古董2 小时前
《FDE前沿部署工程师实战教程》23 - Enterprise AI Event Bus:事件驱动、消息队列与AI工作流自动触发
大数据·数据库·人工智能