数据分片

DarkAthena8 天前
数据库·sql·算法·数据分片
大表数据高效切片:基于主键的无排序Where条件生成算法在异构数据库迁移的项目中,核对迁移前后的大表数据一致性始终是一个难题,我之前有写过一个在库内计算全表特征值的对比工具,但只适用于比对ORACLE和OG/PG系数据库,而且只能判断全表是否一致,无法找到差异行。另外,如果表超级大,进行一次全表扫描的开销也非常大,因此必须要考虑分片算法。而分片算法大多需要排序,一般就是基于主键排序,主键有多个字段就都要排,如果使用行号去做切片,那会导致每个分片查询实际上都进行了全表扫描,性能依旧很差。那么自然就能想到,需要使用索引字段作为分片条件,但复合主键如何生成where
虫师c4 个月前
redis·分布式·缓存·redis集群·高可用架构·生产环境·数据分片
分布式缓存实战:Redis集群与性能优化CSDN分布式系统深度实战系列:系统讲解Redis分布式缓存的核心技术。涵盖集群架构设计、数据分片策略、持久化配置、性能调优、高可用方案五大核心模块,每个技术点都配有生产环境验证的配置示例和性能数据。通过电商平台、社交网络等真实业务场景案例,展示如何构建高可用、高性能的Redis分布式缓存系统。建议⭐收藏⭐,缓存优化时随时参考!
linweidong10 个月前
大数据·flink·checkpoint·流式计算·数仓·自定义source·数据分片
Flink 自定义数据源:从理论到实践的全方位指南在 Flink 的世界里,数据源是数据流的 “源头活水”。简单来说,它负责从外部系统(比如数据库、消息队列、文件系统等)读取数据,并将其转化为 Flink 内部能够处理的格式,供后续的算子(Operator)加工。不管是实时流处理的无界数据,还是批处理的有限数据集,数据源都是那个默默干活的 “搬运工”。
Amd7941 年前
分布式事务·共识算法·云数据库·高可用架构·数据分片·全球一致性·cap定理
分布式数据库解析title: 分布式数据库解析 date: 2025/2/20 updated: 2025/2/20 author: cmdragon
我是有底线的