【MongoDB】集群搭建实战 | 副本集 Replica-Set | 分片集群 Shard-Cluster | 安全认证

ღCauchyོꦿ࿐2023-11-09 12:38

文章目录

MongoDB 集群架构

副本集

MongoDB副本集（Replica Set）是一组维护相同数据集的 MongoDB 实例，它可以提供数据的冗余和高可用性。

  • 副本集由一个主节点（Primary）和多个从节点（Secondary）组成。

    • 客户端所有写操作都会发送到主节点，主节点会记录oplog，然后将写操作同步到从节点。
    • 从节点可以进行读操作和选举新的主节点，从而在主节点故障时实现高可用性。

  • 副本集可以有一个或多个仲裁节点（Arbiter）。

    • 仲裁节点不持有数据，只参与投票来进行选举。

类似于有自动故障恢复功能的主从集群。用多台机器进行同一数据的异步和同步，从而使得多台机器拥有同一数据的多个副本。并且当主库宕机时不需要用户干预的情况下自动切换其他备份服务器做主库。还可以利用副本服务器做只读服务器，实现读写分离，提高负载。通常在生产环境中使用3或5节点副本集，且部署主从节点到不同机器上，可以提供更高的数据冗余和可用性。

副本集使用（主-从-仲裁）节点的架构：

  • 数据冗余： 数据同步到从节点上，提高数据可用性
  • 高可用性： 主节点故障时可以快速选举新的主节点
  • 读写分离： 不同类型的压力分别在不同的节点上执行，从节点可以承担读操作的负载
  • 数据分发： 将数据从一个区域复制到另一个区域，减少另一个区域的读延迟
  • 异地容灾： 在数据中心故障时快速切换到异地

主从复制和副本集区别：

主从集群和副本集最大区别就是副本集没有固定的"主节点"；整个集群会选出一个"主节点"，当其挂掉后，又在剩下的从节点中选中其他节点为"主节点"，副本集总有一个活跃点 {主、primary} 和一个或多个备份节点 {从、secondary}。

主节点选举原则

MongoDB在副本集中，会自动进行主节点的选举，主节点选举的触发条件：

  • 主节点故障
  • 主节点网络不可达（默认心跳信息为10秒）
  • 人工干预（rs.stepDown(600))

一旦触发选举，就要根据一定的规则来选主节点。

选举规则是根据票数来决定谁获胜：

  • 票数最高，且获得了"大多数"成员的投票支持的节点获胜

"大多数"的定义为：假设副本集内投票成员数量为N，则大多数为 N/2+1。例如：3个投票成员，则大多数的值是2。当副本集内存活的数量不足大多数时，整个副本集将无法选举出Primary，副本集将无法提供写服务，处于只读状态。

  • 若票数相同，且都获得了"大多数"成员的投票支持的，数据新的节点获胜。

数据的新旧是通过操作日志oplog来对比的。

搭建副本集

目标：搭建一主一副本一仲裁：

主节点
  • 建立存放数据和日志的目录
sh 复制代码 
mkdir -p ~/mongodb/replicaset/rs_27017/log ~/mongodb/replicaset/rs_27017/data/db
  • 新建或修改配置文件
sh 复制代码 
vim ~/mongodb/replicaset/rs_27017/mongod.conf

mongod.conf:

  • 注意： /home/cauchy 这里是用户的家目录不能用 ~ 代替，cd && pwd 查看家目录路径。
sh 复制代码 
# Where and how to store data.
storage:
  dbPath: /home/cauchy/mongodb/replicaset/rs_27017/data/db

# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /home/cauchy/mongodb/replicaset/rs_27017/log/mongod.log

# network interfaces
net:
  port: 27017
  bindIp: 0.0.0.0

# how the process runs
processManagement:
  fork: true
  timeZoneInfo: /usr/share/zoneinfo
  pidFilePath: /home/cauchy/mongodb/replicaset/rs_27017/log/mongod.pid

replication:
  replSetName: rs

#sharding:

# security:
#   authorization: enabled
  • 启动节点服务
sh 复制代码 
sudo mongod -f ~/mongodb/replicaset/rs_27017/mongod.conf
从节点
sh 复制代码 
mkdir -p ~/mongodb/replicaset/rs_27018/log ~/mongodb/replicaset/rs_27018/data/db
vim ~/mongodb/replicaset/rs_27018/mongod.conf

mongod.conf:

sh 复制代码 
# Where and how to store data.
storage:
  dbPath: /home/cauchy/mongodb/replicaset/rs_27018/data/db

# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /home/cauchy/mongodb/replicaset/rs_27018/log/mongod.log

# network interfaces
net:
  port: 27018
  bindIp: 0.0.0.0

# how the process runs
processManagement:
  fork: true
  timeZoneInfo: /usr/share/zoneinfo
  pidFilePath: /home/cauchy/mongodb/replicaset/rs_27018/log/mongod.pid

replication:
  replSetName: rs

#sharding:

# security:
#   authorization: enabled
sh 复制代码 
sudo mongod -f ~/mongodb/replicaset/rs_27018/mongod.conf
仲裁节点
sh 复制代码 
mkdir -p ~/mongodb/replicaset/rs_27019/log ~/mongodb/replicaset/rs_27019/data/db
vim ~/mongodb/replicaset/rs_27019/mongod.conf

mongod.conf:

sh 复制代码 
# Where and how to store data.
storage:
  dbPath: /home/cauchy/mongodb/replicaset/rs_27019/data/db

# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /home/cauchy/mongodb/replicaset/rs_27019/log/mongod.log

# network interfaces
net:
  port: 27019
  bindIp: 0.0.0.0

# how the process runs
processManagement:
  fork: true
  timeZoneInfo: /usr/share/zoneinfo
  pidFilePath: /home/cauchy/mongodb/replicaset/rs_27019/log/mongod.pid

replication:
  replSetName: rs

#sharding:

# security:
#   authorization: enabled
sh 复制代码 
sudo mongod -f ~/mongodb/replicaset/rs_27019/mongod.conf
连接节点
  • 连接端口（27017）节点，使之成为主节点
sh 复制代码 
mongosh --port=27017
  • 初始化副本集
sh 复制代码 
rs.initiate() # 使用默认配置初始化
  • 查看副本集信息

使用 rs.conf()、rs.status() 查看相应的信息

可以看到目前副本集中只有一个成员（members），主机（ac34057c51af:27017），仲裁节点（arbiterOnly:false），优先级权值（priority:1），并且当前（27017）节点初始化后变为主节点（primary）。

添加副本从节点

在主节点中添加从节点，将其他成员加入到副本集中

语法：

sh 复制代码 
rs.add(host, arbiterOnly)
Parameter Type Description
host string or document 要添加到副本集的新成员。指定为字符串或配置文档：1）如果是一个字符串，则需要指定新成员的主机名和可选的端口号；2）如果是一个文档，请指定在members数组中找到的副本集成员配置文档。您必须在成员配置文档中指定主机字段。有关文档配置字段的说明，详见下方文档："主机成员的配置文档"
arbiterOnly boolean 可选的。仅在值为字符串时适用。如果为true，则添加的主机是仲裁者。

主机成员的配置文档：（可通过 rs.conf() 查看）

json 复制代码 
{
  _id:<int>,
  host:<string>,
  arbiterOnly:<boolean>,
  buildIndexes:<boolean>,
  hidden:<boolean>,
  priority:<number>,
  tags:<document>,
  slaveDelay:<int>,
  votes:<number>
}
  • 将27018的副本节点加添加到副本集中

主机名直接用主机成员的配置文档中的即可

sh 复制代码 
rs.add("ac34057c51af:27018", false)
添加仲裁者节点
sh 复制代码 
rs.add(host,arbiterOnly) 或者 rs.addArb(host)

如下添加仲裁节点 rs.addArb("ac34057c51af:27019")：

【错误信息】：【Reconfig attempted to install a config that would change the implicit default write concern. Use the setDefaultRWConcern command to set a cluster-wide write concern and try the reconfig again.】

【解决】：设置全局默认写入关注点 ，详细的 Write Concern 和 Read Concern 可参考官网文档。

  • 以下操作将全局写入关注设置为：

    • w: 2
sh 复制代码 
db.adminCommand({
  "setDefaultRWConcern" : 1,
  "defaultWriteConcern" : {
    "w" : 2
  }
})

设置完成后，再次执行：

sh 复制代码 
rs.addArb("ac34057c51af:27019")
删除节点

从副本集中删除节点

sh 复制代码 
rs.remove(host)
副本集读写操作
  • 主节点
sh 复制代码 
use test
db.comment.insert({userid: "001", username: "cauchy", content: "专家有言：早上空腹不能吃饭", timestamp: new Date()})

成功读写操作：

  • 从节点
sh 复制代码 
mongosh --port=27018

目前无法读取任何数据，需要主动承认自己是从节点：

sh 复制代码 
db.getMongo().setReadPref("primaryPreferred")

执行成功，从节点只读不可写：

Read Preference ：Read Preference --- MongoDB Manual

readPreference 主要控制客户端 driver 从副本集（Replica Set）读数据的时候如何路由，如下图，这个特性可以方便的配置读写分离、就近去读等策略。

读策略各模式：

  1. primary：只从 primary 节点读数据（默认模式）

  2. primaryPreferred：先主后从。优先从 primary 读取，primary 不可用时从 secondary 读

  3. secondary：只从副本集中 secondary 节点读数据

  4. secondaryPreferred：先从后主。优先从 secondary 读取，如果 secondary 不可用时就从 primary 读

  5. nearest：就近。根据网络距离，就近读取，根据客户端与服务端的 PingTime 实现

副本集中的方法

可以通过 rs.help() 返回副本集功能的基本帮助文档

分片集群

分片是一种跨多台机器分布数据的方法，MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。

换句话说：分片就是将数据拆分，将其分散到不同的机器上的过程。

  • 分片包含的组件

    • 分片（存储）：每个分片包含分片数据的子集。每个分片都可以部署为副本集。
    • mongos（路由）：mongos充当查询路由器，在客户端应用程序和分片集群之间提供接口。
    • config servers（"调度"的配置）：配置服务器存储群集的元数据和配置设置。
分片集群架构目标
第一个副本集
  • 创建存放数据和日志的目录
sh 复制代码 
mkdir -p ~/mongodb/sharded_cluster/shardrs_01_27018/data/db ~/mongodb/sharded_cluster/shardrs_01_27018/log
mkdir -p ~/mongodb/sharded_cluster/shardrs_01_27118/data/db ~/mongodb/sharded_cluster/shardrs_01_27118/log
mkdir -p ~/mongodb/sharded_cluster/shardrs_01_27218/data/db ~/mongodb/sharded_cluster/shardrs_01_27218/log
  • 新建或修改配置文件
sh 复制代码 
vim ~/mongodb/sharded_cluster/shardrs_01_27018/mongod.conf
vim ~/mongodb/sharded_cluster/shardrs_01_27118/mongod.conf
vim ~/mongodb/sharded_cluster/shardrs_01_27218/mongod.conf
  1. shardrs_01_27018/mongod.conf
sh 复制代码 
# mongod.conf

# for documentation of all options, see:
#   http://docs.mongodb.org/manual/reference/configuration-options/

# Where and how to store data.
storage:
  dbPath: /home/cauchy/mongodb/sharded_cluster/shardrs_01_27018/data/db
#  engine:
#  wiredTiger:

# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /home/cauchy/mongodb/sharded_cluster/shardrs_01_27018/log/mongod.log

# network interfaces
net:
  port: 27018
  bindIp: 0.0.0.0

# how the process runs
processManagement:
  fork: true
  timeZoneInfo: /usr/share/zoneinfo
  pidFilePath: /home/cauchy/mongodb/sharded_cluster/shardrs_01_27018/log/mongod.pid

# security:
#   authorization: enabled

#operationProfiling:

replication:
  replSetName: shardrs_01

sharding:
  clusterRole: shardsvr

#sharding:

## Enterprise-Only Options:

#auditLog:
  1. shardrs_01_27118/mongod.conf
  2. shardrs_01_27218/mongod.conf

同理修改即可。

第二个副本集
sh 复制代码 
mkdir -p ~/mongodb/sharded_cluster/shardrs_02_27318/data/db ~/mongodb/sharded_cluster/shardrs_02_27318/log
mkdir -p ~/mongodb/sharded_cluster/shardrs_02_27418/data/db ~/mongodb/sharded_cluster/shardrs_02_27418/log
mkdir -p ~/mongodb/sharded_cluster/shardrs_02_27518/data/db ~/mongodb/sharded_cluster/shardrs_02_27518/log
sh 复制代码 
vim ~/mongodb/sharded_cluster/shardrs_02_27318/mongod.conf
vim ~/mongodb/sharded_cluster/shardrs_02_27418/mongod.conf
vim ~/mongodb/sharded_cluster/shardrs_02_27518/mongod.conf
  1. shardrs_02_27318/mongod.conf
sh 复制代码 
# mongod.conf

# for documentation of all options, see:
#   http://docs.mongodb.org/manual/reference/configuration-options/

# Where and how to store data.
storage:
  dbPath: /home/cauchy/mongodb/sharded_cluster/shardrs_02_27318/data/db
#  engine:
#  wiredTiger:

# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /home/cauchy/mongodb/sharded_cluster/shardrs_02_27318/log/mongod.log

# network interfaces
net:
  port: 27318
  bindIp: 0.0.0.0

# how the process runs
processManagement:
  fork: true
  timeZoneInfo: /usr/share/zoneinfo
  pidFilePath: /home/cauchy/mongodb/sharded_cluster/shardrs_02_27318/log/mongod.pid

# security:
#   authorization: enabled

#operationProfiling:

replication:
  replSetName: shardrs_02

sharding:
  clusterRole: shardsvr

#sharding:

## Enterprise-Only Options:

#auditLog:
  1. shardrs_02_27418/mongod.conf
  2. shardrs_02_27518/mongod.conf

同理修改即可。

配置集
sh 复制代码 
mkdir -p ~/mongodb/sharded_cluster/configrs_27019/data/db ~/mongodb/sharded_cluster/configrs_27019/log
mkdir -p ~/mongodb/sharded_cluster/configrs_27119/data/db ~/mongodb/sharded_cluster/configrs_27119/log
mkdir -p ~/mongodb/sharded_cluster/configrs_27219/data/db ~/mongodb/sharded_cluster/configrs_27219/log
  1. configrs_27019/mongod.conf
sh 复制代码 
# mongod.conf

# for documentation of all options, see:
#   http://docs.mongodb.org/manual/reference/configuration-options/

# Where and how to store data.
storage:
  dbPath: /home/cauchy/mongodb/sharded_cluster/configrs_27019/data/db
#  engine:
#  wiredTiger:

# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /home/cauchy/mongodb/sharded_cluster/configrs_27019/log/mongod.log

# network interfaces
net:
  port: 27019
  bindIp: 0.0.0.0

# how the process runs
processManagement:
  fork: true
  timeZoneInfo: /usr/share/zoneinfo
  pidFilePath: /home/cauchy/mongodb/sharded_cluster/configrs_27019/log/mongod.pid

# security:
#   authorization: enabled

#operationProfiling:

replication:
  replSetName: configrs

sharding:
  clusterRole: configsvr

## Enterprise-Only Options:

#auditLog:
  1. configrs_27119/mongod.conf
  2. configrs_27219/mongod.conf

同理修改即可。

初始化副本集

  • 两个副本集的初始化，和上文副本集中，连接节点处讲解一致

  • 配置集没有仲裁节点，将两个节点以从节点的方式加入即可

路由集

mongos服务，不是mongod服务

  • 仅需要创建日志目录
sh 复制代码 
mkdir -p ~/mongodb/sharded_cluster/mongos_27017/log
mkdir -p ~/mongodb/sharded_cluster/mongos_27117/log
  • 新建或修改配置文件
sh 复制代码 
vim ~/mongodb/sharded_cluster/mongos_27017/mongos.conf
vim ~/mongodb/sharded_cluster/mongos_27117/mongos.conf
  1. mongos_27017/mongos.conf
sh 复制代码 
# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /home/cauchy/mongodb/sharded_cluster/mongos_27017/log/mongod.log

# network interfaces
net:
  port: 27017
  bindIp: 0.0.0.0

# how the process runs
processManagement:
  fork: true
  timeZoneInfo: /usr/share/zoneinfo
  pidFilePath: /home/cauchy/mongodb/sharded_cluster/mongos_27017/log/mongod.pid

# security:
#   authorization: enabled

#operationProfiling:

# replication:

sharding:
  configDB: configrs/ac34057c51af:27019,ac34057c51af:27119,ac34057c51af:27219

#sharding:

## Enterprise-Only Options:

#auditLog:
  1. mongos_27117/mongos.conf
sh 复制代码 
# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /home/cauchy/mongodb/sharded_cluster/mongos_27117/log/mongod.log

# network interfaces
net:
  port: 27117
  bindIp: 0.0.0.0

# how the process runs
processManagement:
  fork: true
  timeZoneInfo: /usr/share/zoneinfo
  pidFilePath: /home/cauchy/mongodb/sharded_cluster/mongos_27117/log/mongod.pid

# security:
#   authorization: enabled

#operationProfiling:

# replication:

sharding:
  configDB: configrs/ac34057c51af:27019,ac34057c51af:27119,ac34057c51af:27219

#sharding:

## Enterprise-Only Options:

#auditLog:
  • 启动路由节点 mongos 服务
sh 复制代码 
sudo mongos -f ~/mongodb/sharded_cluster/mongos_27017/mongos.conf
sudo mongos -f ~/mongodb/sharded_cluster/mongos_27117/mongos.conf

此时路由还不能找到分片，要添加分片到路由中。

添加分片

语法：

sh 复制代码 
sh.addShard("IP:Port")
  • 添加第一套副本集
  • 添加第二套副本集
开启分片

sh.enableSharding("库名") 需要先对对库开启分片功能

集合分片

对集合分片，必须使用 sh.shardCollection() 方法指定集合和分片键

  • 片键（Shard Key）是每条记录都必须包含的，且建立了索引的单个字段或复合字段，MongoDB 按照片键将数据划分到不同的数据块中，并将数据块均衡地分布到所有分片中。

    • MongoDB 使用基于哈希的分片方式（随机平均分配）或者基于范围的分片方式（数值大小分配）

语法：

sh 复制代码 
sh.shardCollection(namespace,key,unique)
Parameter Type Description
namespace string 要（分片）共享对目标集合对命名空间，格式：<database>.<collection>
key document 用作分片键的索引规范文档。shard键决定MongoDB如何在shard之间分发文档。除非集合为空，否则索引必须在shard collection命令之前存在。如果集合为空，则MongoDB在对集合进行分片之前创建索引，前提是支持分片键的索引不存在。简单来说：由包含字段和该字段的索引遍历方向的文档组成。
unique boolean 当值为true，片键字段上会限制为确保是唯一索引，哈希策略片键不支持唯一索引，默认为false

测试 test_db 库的 comment 集合，以 username 为键，以哈希策略来分片：

sh 复制代码 
sh.shardCollection("test_db.comment", {"username": "hashed"})
  • 分片规则一：哈希策略

对于基于哈希的分片，MongoDB 计算一个学段的哈希值，并用这个哈希值来创建数据块。

在使用基于哈希分片的系统中，拥有"相近"片键的文档很可能不会存储在同一个数据块中，因此数据的分离性更好一些

测试哈希策略：

sh 复制代码 
for(var i=0;i<1000;i++){db.comment.insert({userid: i, username: "cauchy"+i})}

在分片1中查看：

sh 复制代码 
mongosh --port=27018
use test_db
db.comment.countDocuments()

在分片2中查看：

  • 分片规则二：范围策略

对于基于范围的分片，MongoDB按照片键的范围把数据分成不同部分。假设有一个数字的片键想象一个从负无穷到正无穷的直线，每一个片键的值都在直线上画了一个点。MongoDB 把这条直线划分为更短的不重叠的片段，并称之为数据块，每个数据块包含了片键在一定范围内的数据。

在使用片键做范围划分的系统中，拥有相近"片键的文档很可能存储诸在同一个数据块中，因此也会存储在同一个分片中。

sh 复制代码 
sh.shardCollection("test_db.author", {"age": 1})
删除分片
sh 复制代码 
use config
db.databases.remove({"_id": "test_db"})
db.shards.remove({_id: "shardrs_01"})
db.shards.remove({_id: "shardrs_02"})

第二个路由节点直接同第一个创建即可，开启后不需要分配，由配置服务自动同步

安全认证

MongoDB用户和角色权限

参考上篇博客

副本集安全认证
创建副本集认证的key文件
  • 生成一个key文件到当前文件夹中

可以使用任何方法生成密钥文件。例如，以下操作使用 openssl 生成密码文件，然后使用 chmod 来更改文件权限

仅为文件所有者提供读取权限：

sh 复制代码 
openssl rand -base64 128 > ./mongo.keyfile
chmod 400 ./mongo.keyfile

所有副本集节点都必须要用同一份keyfile，一般是在一台机器上生成，然后拷贝到其他机器上，且必须有读的权

限。

一定要保证密钥文件一致，文件位置随便。但是为了方便查找，建议每台机器都防放到一个固定的位置，都防放到和配

置文件一起的目录中。

  • 将该文件分别拷贝到多个目录中
sh 复制代码 
cp mongo.keyfile ~/mongodb/replicaset/rs_27017
cp mongo.keyfile ~/mongodb/replicaset/rs_27018
cp mongo.keyfile ~/mongodb/replicaset/rs_27019
修改配置文件指定keyfile
sh 复制代码 
...
security:
  keyFile: /home/cauchy/mongodb/replicaset/rs_27017/mongo.keyfile
  authorization: enabled
...
sh 复制代码 
...
security:
  keyFile: /home/cauchy/mongodb/replicaset/rs_27018/mongo.keyfile
  authorization: enabled
...
sh 复制代码 
...
security:
  keyFile: /home/cauchy/mongodb/replicaset/rs_27019/mongo.keyfile
  authorization: enabled
...
分片集群安全认证

每个节点上都要添加 keyfile，其他步骤同副本集一样。

参考：https://www.bilibili.com/video/BV1bJ411x7mq

相关推荐
hummhumm2 分钟前
Oracle 第29章：Oracle数据库未来展望
java·开发语言·数据库·python·sql·oracle·database
黑金IT21 分钟前
在PHP8内,用Jenssegers MongoDB扩展来实现Laravel与MongoDB的集成
mongodb·php·laravel
gavin_gxh27 分钟前
ORACLE 删除archivelog日志
数据库·oracle
一叶飘零_sweeeet30 分钟前
MongoDB 基础与应用
数据库·mongodb
猿小喵1 小时前
DBA之路，始于足下
数据库·dba
明达技术1 小时前
物联优化汽车齿轮锻造
分布式·物联网
tyler_download1 小时前
golang 实现比特币内核:实现基于椭圆曲线的数字签名和验证
开发语言·数据库·golang
小春学渗透1 小时前
Day107：代码审计-PHP模型开发篇&MVC层&RCE执行&文件对比法&1day分析&0day验证
开发语言·安全·web安全·php·mvc
weixin_449310841 小时前
高效集成：聚水潭采购数据同步到MySQL
android·数据库·mysql
落樱坠入星野2 小时前
拿下阿里云之后如何在本地运行镜像进行分析
经验分享·安全·网络安全·阿里云·云计算
热门推荐
01如何才能让手机厂商主动拥抱华为，接入鸿蒙系统？02【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测05RAG 实践- Ollama+RagFlow 部署本地知识库06【经验分享】Ubuntu22.04安装微信(linux官方版)07Macbook pro M1 安装Ubuntu教程08【Java】Ruoyi-Vue-Plus 整合 文件分片上传至 minio、阿里云、七牛云等OSS-【后端篇】09Windows10安装PCL1.14.0及点云配准10文件或文件夹名称中有空格如何批量去除