MongoDB 分布式 概述

原文链接: 百度安全验证

未整理好,以下仅仅为关键内容笔记

MongoDB 中常用的分布式架构

1、Replica Set 副本集模式:一个 Primary 节点用于写入数据,其它的 Secondary 节点用于查询数据

2、Sharding 分片模式:将不同的数据分配在不同的机器中,也就是数据的横向扩展

Sharding 分片模式

分片(shard):每个分片包含一部分分片数据。每个分片可以部署为一个副本集;

MongoDB 在集合级别分片数据,将收集数据分布在集群中的各个分片上。

MongoDB 使用分片键在各个分片之间分发集合中的文档。分片键由文档中的一个或多个字段组成。

集合必须有一个以分片键开头的索引,如果集合本身没有对应的索引,在指定分片的时候会创建对应的索引。

MongoDB 的分片集群,数据会被均匀的分布在不同的 shard 中,对于每一个 shard 中的数据,是存储在一个个的 chunk 中的,每个 chunk 代表 shard 中的一部分数据。

简单就是使用 chunk 存储数据,方便集群进行数据在分片集群中进行数据的均衡迁移操作。

chunk 的大小选择很重要,集群默认的大小是 64 兆,可以根据业务大小进行调节。

较小的 chunksize

优点:数据均衡和迁移速度快,数据分布更均匀;

缺点:数据分裂频繁,路由节点消耗更多资源。

较大的 chunksize

优点:数据分裂少;

缺点:数据块移动集中消耗IO资源。

分片的算法

哈希分片

哈希分片会计算分片键字段值的哈希,然后根据哈希分片键值,每个块分配一个范围。

范围分片

MongoDB 中分片键划分数会根据数据范围,将不同范围内的数据划分到不同的分片中,同一个范围内的数据就能够分布在同一个分片中了。

相关推荐
谢亮_vipxieliang1 小时前
Spring Cloud 服务治理入门:注册发现、配置中心、网关限流、熔断降级与分布式一致性方案
分布式·spring·spring cloud
樱花落木兰10 小时前
分布式登录实战:Session 会话共享改造,Redis 存储用户登录状态
java·javascript·数据库·redis·分布式·缓存
ShineWinsu10 小时前
对于Redis:Steam、Geospatial、Hyperloglog、Bitmap、Bitfield类型的解析
数据库·c++·redis·分布式·缓存·面试·zset
Flynt1 天前
Redis Cluster主节点挂了,为什么"高可用"还全员掉线?我把三次kill的记录翻出来了
数据库·redis·分布式
JosieBook1 天前
【数据库】MySQL 实战精通系列 · 第10篇:分库分表与分布式事务实战
数据库·分布式·mysql
梦帮科技1 天前
vLLM / TensorRT-LLM 极限推理:PagedAttention 细粒度物理页表管理与连续批处理(Continuous Batching)实战
数据结构·人工智能·分布式·python·深度学习·算法·vllm
Frank_refuel2 天前
分布式RPC框架实战(二):服务端模块划分与底层设计
分布式·网络协议·rpc
mftang2 天前
EtherCAT协议:从“飞读飞写”机制到分布式时钟同步的实时以太网架构深度解析
分布式·架构·ethercat·分布式时钟·从站控制器
ShineWinsu2 天前
对于Redis:Hash类型的解析
c++·redis·分布式·缓存·面试·hash·哈希表
东方芷兰3 天前
Agent 技术摘要 03 —— 基座模型、推理模型、Flash、联邦学习、分布式机器学习
人工智能·分布式·机器学习