提高性能的常见技术

1.数据库层面:

  • 读写分离,对于大部分业务来说,读取操作要大于写入,同一个库,既读又写的话,负载会比较重,拆分为读库和写入库,可以降低数据库的负载,分时或延迟将写入的数据同步到读取库中
  • 分库or分表,在数仓中,每一层使用一个库,对于大表,按照区域,时间等拆分成小表,这样每次读写操作需要遍历的数据量会减少,也会提高性能,再细分的话又有垂直拆分与水平拆分
  • 缓存:这是一个应对频繁读取操作的一个常见设计,同一个查询,如果短时间再次查询,直接读数据库,负载增大,如果把经常读取的数据写入缓存,可以减少读取压力,当然这样会导致一致性问题,例如底层数据改变,缓存没更新
  • 分布式:分而治之的思想,常见的如hadoop,通过mapreduce过程,将大的任务切割成小的,分布执行,然后将结果汇总起来
相关推荐
不如语冰1 小时前
AI大模型入门-Python进阶-上下文管理与with语句
开发语言·数据结构·数据库·人工智能·pytorch·redis·python
l1t3 小时前
DeepSeek总结的DuckLake 架构深度剖析-2
数据库·架构
YOU OU3 小时前
Redis事务
数据库·redis·缓存
数智化管理手记4 小时前
财务大数据怎么管住资金风险?财务大数据和财务数智化到底怎么结合?
大数据·网络·数据库·人工智能·数据挖掘
晓子文集4 小时前
Tushare接口文档:指数成分和权重(index_weight)
大数据·数据库·python·金融·量化投资
吴声子夜歌4 小时前
MongoDB 4.2——入门指南
数据库·mongodb
吴声子夜歌4 小时前
MongoDB 4.x——高可靠
数据库·mongodb
light blue bird4 小时前
组轴式执行引擎 ✅ 多线程调度组装组件
数据库·信息可视化·oracle·桌面端winform·多节点端·gdi图表绘制开发
码农学院4 小时前
Node.js MongoDB构建户外用品GEO优化内容管理平台
数据库·mongodb·node.js
吴声子夜歌4 小时前
MongoDB 4.x——治理经验
数据库·mongodb