MongoDB CRUD操作:批量写操作

MongoDB CRUD操作:批量写操作

文章目录

MongoDB提供了批量执行写入操作的能力,但批量写入操作只影响单个集合, MongoDB允许应用程序确定批量写入操作所需的可接受的确认级别。
db.collection.bulkWrite()方法支持批量插入、更新和删除的操作。当然,通过 db.collection.insertMany()方法也可以进行批量插入的操作。

关于批量操作的顺序

批量写入操作可以是有序的,也可以是无序的。通过操作的有序列表,MongoDB串行执行操作。如果在处理其中一个写操作期间发生错误,MongoDB 将返回,而不处理列表中任何剩余的写操作。

对于无序列表的操作,MongoDB可以并行执行操作,但不能保证这种行为。如果在处理其中一个写操作的过程中发生错误,MongoDB将继续处理列表中剩余的写操作。

在分片集合上执行有序操作列表通常会比执行无序列表慢,因为使用有序列表时,每个操作都必须等待前一个操作完成。

默认情况下,bulkWrite()执行有序操作,如果要指定无序写入操作,可以选项文档中设置ordered: false

bulkWrite()支持的方法

bulkWrite()支持下面的写操作:

  • insertOne
  • updateOne
  • updateMany
  • replaceOne
  • deleteOne
  • deleteMany

所有的写操作都作为数组中的文档传递给bulkWrite()

举例

使用下面的脚本创建pizzas集合:

js 复制代码
db.pizzas.insertMany( [
   { _id: 0, type: "pepperoni", size: "small", price: 4 },
   { _id: 1, type: "cheese", size: "medium", price: 7 },
   { _id: 2, type: "vegan", size: "large", price: 8 }
] )

下面的bulkWrite()示例在pizzas集合上运行:

  • 使用insertOne添加两个文档
  • 使用updateOne更新一个文档
  • 使用deleteOne删除一个文档
  • 使用replaceOne替换一个文档
js 复制代码
try {
   db.pizzas.bulkWrite( [
      { insertOne: { document: { _id: 3, type: "beef", size: "medium", price: 6 } } },
      { insertOne: { document: { _id: 4, type: "sausage", size: "large", price: 10 } } },
      { updateOne: {
         filter: { type: "cheese" },
         update: { $set: { price: 8 } }
      } },
      { deleteOne: { filter: { type: "pepperoni"} } },
      { replaceOne: {
         filter: { type: "vegan" },
         replacement: { type: "tofu", size: "small", price: 4 }
      } }
   ] )
} catch( error ) {
   print( error )
}

执行完成后输出已完成操作的摘要信息:

js 复制代码
{
   acknowledged: true,
   insertedCount: 2,
   insertedIds: { '0': 3, '1': 4 },
   matchedCount: 2,
   modifiedCount: 2,
   deletedCount: 1,
   upsertedCount: 0,
   upsertedIds: {}
}

向分片集合批量插入的策略

大量插入操作(包括初始数据插入或常规数据导入)可能会影响分片集群的性能。对于批量插入,可考虑以下策略:

预分割集合

如果分片集合为空,则该集合只有一个初始块,该块驻留在单个分片上,MongoDB必须花时间接收数据、创建拆分并将拆分块分发到可用分片。为了避免这种性能成本,可以预先拆分集合。

无序写入 mongos

要提高分片集群的写入性能,可以使用bulkWrite()``,并将可选参数ordered设置为false。 mongos可以尝试同时将写入发送到多个分片。对于空集合,首先按照分片集群中的分割块中的描述预先分割集合。

避免单调节流

如果分片键在插入期间单调增加,则所有插入的数据都会到达集合中的最后一个块,该块将始终位于单个分片上。因此,集群的插入容量永远不会超过单个分片的插入容量。

如果插入量大于单个分片可以处理的量,并且无法避免单调递增的分片键,则建议对应用程序进行以下修改:

  • 反转片键的二进制位。这保留了信息并避免将插入顺序与递增的值序列相关联。
  • 交换第一个和最后一个 16 位字以"随机"插入。

以下示例采用 C++ 语言,交换生成的 BSON ObjectId 的前导和尾随 16 位字,以便它们不再单调递增。

c++ 复制代码
using namespace mongo;
OID make_an_id() {
  OID x = OID::gen();
  const unsigned char *p = x.getData();
  swap( (unsigned short&) p[0], (unsigned short&) p[10] );
  return x;
}

void foo() {
  // 创建一个对象
  BSONObj o = BSON( "_id" << make_an_id() << "x" << 3 << "name" << "jane" );
}
相关推荐
憧憬成为web高手2 小时前
皮卡丘靶场速通--sql 2
数据库·sql·mybatis
段一凡-华北理工大学2 小时前
向量数据库实战:选型、调优与落地~系列文章12:文本分块策略实战:chunk_size 怎么选?重叠多少?
开发语言·数据库·后端·oracle·rust·工业智能体·高炉智能化
oradh4 小时前
Oracle XTTS实现跨版本迁移和升级(Oracle 11g单库升级至19C RAC集群)
数据库·oracle·11g升级19c·xtts跨版本迁移和升级
z123456789865 小时前
2026最新两款AI编程工具深度对比实测
java·数据库·ai编程
程序猿DD5 小时前
一个 API Key,统一调用大模型、生图和联网搜索
数据库·网关
java_logo6 小时前
Docker Compose 部署 ClickHouse:快速搭建高性能列式数据库
数据库·clickhouse·docker·列式数据库·轩辕镜像·高性能数据库·clickhouse部署教程
TlSfoward6 小时前
抓包代理链路下的 TLS 指纹变化分析 TLSFOWARD抓包工具
数据库·爬虫·网络协议·搜索引擎·php
数智化管理手记7 小时前
账龄分析手工统计易遗漏?自动账龄分析工具怎么搭建
大数据·网络·数据库·人工智能·数据挖掘
LabVIEW开发7 小时前
NI Package Manager安装LabVIEW时InternalServerError错误
网络·数据库·labview·labview知识·labview功能·labview程序
SelectDB7 小时前
PostgreSQL 实时同步到 Apache Doris:一站式 CDC 解决方案
数据库