查询优化之“查询分离”

什么业务场景需要使用查询分离

当数据在任何时候都可能被修改和查询的场景下,就不适合采用冷热分离来解决问题。而读写分离方案得到的工单查询速度提升是有限的,它主要还是用在数据库高并发的场景中。查询分离可以有效提升数据的查询效率,即将更新的数据放在主数据库里,而查询的数据放在另外一个专门针对搜索的存储系统里。

何时触发和如何实现查询分离

一般来说,查询分离的触发逻辑分为3种:

1)修改业务代码,在写入常规数据后同步更新查询数据,该方式适用于业务代码比较简单,对写操作响应时间要求不高的业务场景。

2)修改业务代码,在写入常规数据后异步更新查询数据,该方式适用于业务代码比较简单,对写操作响应时间要求高的业务场景。

3)监控数据库日志,如有数据变更,则更新查询数据,该方式适用于业务代码比较复杂,代码改动代价较高的情况。

三种方式的优缺点比较:

如何存储查询分离的数据

目前开发者们主要使用Elasticsearch实现大数据量的搜索查询,当然还可能用到MongoDB、HBase这些技术,这就需要开发者对各种技术的特性了如指掌后再进行技术选型。

HBase可以存储海量数据,但是其设计初衷并不是用来做复杂查询,即使可以做到,效率也不高。而此处的工单查询复杂度很高,所以项目组最后锁定的两个选项是MongoDB和Elasticsearch。

技术选型不仅要考虑业务场景,也要考虑技术人员的技术结构,对技术是否有经验和熟悉。

相关推荐
运维行者_2 小时前
ISP 企业级带宽计费怎么做?网络流量计费的 6 大核心能力
运维·服务器·网络·数据库·支持向量机·接口隔离原则
奇树谦2 小时前
PCB生产制造全流程详解:从开料、钻孔、沉铜到检测、包装
网络·数据库·制造
驾驭人生3 小时前
Hangfire.Redis.StackExchange 已归档停更!生产任务卡死、重复执行、网络抖动问题解决方案
数据库·redis·缓存
xierui1231233 小时前
Agent记忆不是聊天记录:用三层存储构建可追溯的 AI 工作流
数据库·人工智能·aigc·软件工程
2301_800074213 小时前
mysql DQL
数据库·sql·mysql
西风未眠3 小时前
ClickHouse数据库引擎引起的数据丢失
数据库·clickhouse·故障
海浪仙人掌3 小时前
应收账款分析如何操作?应收账款分析有哪些注意事项?
数据库·人工智能
Elastic 中国社区官方博客3 小时前
在 Elasticsearch 中回填时间序列数据:通过批量 API 加载数月的历史指标数据
大数据·运维·数据库·人工智能·elasticsearch·搜索引擎·全文检索
Horn Still Sounds3 小时前
Linux网络并发服务器模型与SQLite数据库学习笔记
linux·服务器·数据库
昵称画4 小时前
POC验证怎么设计用例?不走过程的实操要点
大数据·数据库·人工智能·低代码·excel