如何在MongoDB中实现按时间跨度的分片路由_时间序列范围分片与冷热节点架构

时间序列分片必须用 range 而非 hashed 索引,因需按时间范围(如按月)路由查询;分片键须为单调递增的 Date/ISODate 类型时间字段,且需预先建索引;冷热分离依赖 sh.addShardTag() 与 sh.addTagRange() 的严格顺序配合,边界值类型必须一致,查询条件类型也须匹配分片键。时间序列分片必须用 hashed 索引?错,range 才是核心时间跨度分片不是靠哈希打散,而是靠时间字段的有序性做范围切分。MongoDB 的 shardCollection 命令只接受 range 或 hashed 分片键,而时间序列场景下,range 是唯一能支撑"按月/按天路由"的方式------否则查 2024-06 的数据会扫全集群。常见错误现象:sh.addShardTag("shard01", "hot") 配了标签但查询没走对应节点,本质是分片键没对齐时间范围。分片键必须是时间字段(如 ts),且类型为 Date 或 ISODate;NumberLong 也可,但需确保单调递增、无重复不要用 _id 或复合键里混入非时间字段(比如 {ts: 1, region: 1}),否则范围无法连续,sh.splitAt() 会失效建集合前必须先在分片键上建索引:db.metrics.createIndex({ts: 1}),否则 shardCollection 报 Cannot shard collection without an index on the shard key冷热分离靠 sh.addShardTag() + sh.addTagRange(),但顺序不能反标签本身不路由,它只是"描述能力";真正生效的是 sh.addTagRange() 绑定的范围和标签之间的映射关系。如果先绑范围再加标签,或者标签名拼错,路由就静默失效------查冷数据仍发往热节点。使用场景:把 ts <= ISODate("2024-01-01") 的 chunk 全部迁到 shard-cold,热数据留在 shard-hot。必须先执行 sh.addShardTag("shard-cold", "cold"),再执行 sh.addTagRange("db.metrics", {ts: MinKey}, {ts: ISODate("2024-01-01")}, "cold")范围边界值必须与分片键类型严格一致:用 MinKey / MaxKey,别手写 null 或 new Date(0),否则报 Range must be valid迁移不是即时的:sh.status() 里看到 tags 已配,但 chunk 还在原节点,得等 balancer 下次触发或手动 sh.moveChunk()sh.splitAt() 手动切分 chunk,但时间点选错会导致数据倾斜自动分片靠插入触发,但时间序列写入集中在最新窗口(比如每秒写 2024-06-15T14:00:00Z),旧时间范围 chunk 一直不裂开,最终一个 chunk 几百 GB 卡死迁移。必须主动按时间点切分。 Zeemo AI 一款专业的视频字幕制作和视频处理工具

相关推荐
BK贝壳1 小时前
亿级用户签到位图选型复盘:用 bool-hybrid-array 扛冷启动打卡,也把它和 Roaring/Redis 的边界测清楚了
数据结构·python·性能优化·numpy
2601_966949653 小时前
如何根据研究的起止时间截取分钟级行情?Python 实战与 QuantDash 数据处理指南
开发语言·python·pandas·量化交易·1024程序员节·股票数据·quantdash
程序员清风6 小时前
数据处理脚本工程化:日志、配置、命令行与测试
服务器·开发语言·数据库
正在走向自律7 小时前
数据集成产品的技术底座:从日志解析原理到 KFS 同步链路搭建(含建表与增删改查完整代码)
数据库·oracle·信创·数据集成·国产数据库·kingbasees·全量+增量同步
程序员塔塔喵7 小时前
【MySQL篇|第七篇】MySQL事务
数据库·mysql·mysql事务
在世修行7 小时前
智学文枢:页面切换与跨页数据预填
python·桌面应用·signal·1024程序员节·pyside·跨页跳转·状态预填
2601_962885728 小时前
如何用 Python 把 K 线重采样成任意周期?
开发语言·python
独隅8 小时前
Claude API 实战教程:从入门到完整项目
android·java·数据库·claude·claude code
打工仔折腾 AI8 小时前
在 Ubuntu ARM64 部署 Q1 V3.0 MuJoCo 模型:加载、单步推理与执行器响应解析
linux·运维·人工智能·python·深度学习·ubuntu·性能优化
_孤傲_8 小时前
快速掌握 MySQL 语法
数据库·后端·mysql