MongoDB聚合:$changeStreamSplitLargeEvent

变更流(Change stream)允许应用访问数据实时变更情况,应用可以使用变更流订阅集合、数据库甚至整个部署的数据变化并直接跟它们进行交互。因为变更流使用了聚合框架,所以应用也可以筛选特定的变化并灵活的转换通知。

如果变更流的事件超过16M,将返回BSONObjectTooLarge异常。不过从7.0开始,MongoDB提供了$changeStreamSplitLargeEvent阶段,支持把事件拆分成多个小的片段。在必要时应该使用$changeStreamSplitLargeEvent,例如应用需要整个文档的pre-imagespost-images,并且产生的大事件超过了16MB,就应该使用$changeStreamSplitLargeEvent

在决定使用$changeStreamSplitLargeEvent之前,应该先尝试降低变更事件的大小,例如:

  • 若非必要,不要请求pre-imagespost-images文档,在大多数情况下会生成fullDocumentfullDocumentBeforeChange字段,它们通常是变更事件最大的对象。
  • 使用$project只选取应用需要的字段,这可以减小变更事件的大小并避免把大事件拆分为片段时耗费过多的时间,也就可以一次返回更多的变更事件。

聚合管道中只能有一个$changeStreamSplitLargeEvent,而且必须放在管道的最后,$changeStreamSplitLargeEvent只能用于$changeStream管道。

语法

js 复制代码
{
  $changeStreamSplitLargeEvent: {}
}

$changeStreamSplitLargeEvent会把超过16MB的事件分割成多个片段,并使用变更流游标按顺序返回这些片段。分割片段时,会在第一个片段中返回最大数量的字段,这样可以确保尽快返回事件上下文。分割变更事件时,只使用顶层字段的大小。$changeStreamSplitLargeEvent不会递归处理或分割子文档。例如,如果使用$project阶段创建一个单字段大小为 20MB的变更事件,则该事件不会被拆分,而是会返回错误信息。

每个片段都有一个恢复标记。使用片段令牌恢复的数据流有以下两种情况:

  • 从后续片段开始新的数据流。
  • 如果从序列中的最后一个片段恢复,则从下一个事件开始。

事件的每个片段都包含一个splitEvent文档:

js 复制代码
splitEvent: {
   fragment: <int>,  //片段索引,从1开始
   of: <int>         //片段中事件总数
}

举例

下面的示例显示了$changeStreamSplitLargeEvent在集合myCollection中的使用。创建myCollection并插入一个数据量略低于16MB的文档:

js 复制代码
db.myCollection.insertOne(
   { _id: 0, largeField: "a".repeat( 16 * 1024 * 1024 - 1024 ) } //largeField 包含重复的字母 a。
)

启用myCollection$changeStreamPreAndPostImages,允许变更流检索更新前(pre-image)和更新后(post-image)的文档:

js 复制代码
db.runCommand( {
   collMod: "myCollection",
   changeStreamPreAndPostImages: { enabled: true }
} )

使用db.collection.watch()创建一个变化流游标,用于监控myCollection的变化:

js 复制代码
myChangeStreamCursor = db.myCollection.watch(
   [ { $changeStreamSplitLargeEvent: {} } ],
   { fullDocument: "required", fullDocumentBeforeChange: "required" }
)

对于变更流事件:

  • fullDocument:"required" 包含post-image文档
  • fullDocumentBeforeChange:"required" 包含pre-image文档

更新myCollection的文档,这也会产生一个包含文档pre-imagepost-image的变更流事件:

js 复制代码
db.myCollection.updateOne(
   { _id: 0 },
   { $set: { largeField: "b".repeat( 16 * 1024 * 1024 - 1024 ) } }
)

largeField \现在包含重复的字母b

使用next()方法从myChangeStreamCursor中读取片段,并将片段存储在名为 firstFragmentsecondFragmentthirdFragment的对象中:

js 复制代码
const firstFragment = myChangeStreamCursor.next()
const secondFragment = myChangeStreamCursor.next()
const thirdFragment = myChangeStreamCursor.next()

显示firstFragment.splitEvent

js 复制代码
firstFragment.splitEvent

输出片段详细信息:

js 复制代码
splitEvent: { fragment: 1, of: 3 }

类似的,secondFragment.splitEventthirdFragment.splitEvent返回:

js 复制代码
splitEvent: { fragment: 2, of: 3 }
splitEvent: { fragment: 3, of: 3 }

检查firstFragment对象的键:

js 复制代码
Object.keys( firstFragment )

输出:

js 复制代码
[
   '_id',
   'splitEvent',
   'wallTime',
   'clusterTime',
   'operationType',
   'documentKey',
   'ns',
   'fullDocument'
]

检查firstFragment.fullDocument的字节大小:

js 复制代码
bsonsize( firstFragment.fullDocument )

输出:

js 复制代码
16776223

secondFragment包含fullDocumentBeforeChange pre-image,大小约为 16MB。下面的示例显示了secondFragment对象的键:

js 复制代码
Object.keys( secondFragment )

输出:

js 复制代码
[ '_id', 'splitEvent', 'fullDocumentBeforeChange' ]

thirdFragment``包含updateDescription字段,大小约为16MB。下面的示例显示了thirdFragment对象的键:

js 复制代码
Object.keys( thirdFragment )

输出:

js 复制代码
[ '_id', 'splitEvent', 'updateDescription' ]
相关推荐
小码的头发丝、41 分钟前
Django中ListView 和 DetailView类的区别
数据库·python·django
Karoku0661 小时前
【企业级分布式系统】Zabbix监控系统与部署安装
运维·服务器·数据库·redis·mysql·zabbix
周全全1 小时前
MySQL报错解决:The user specified as a definer (‘root‘@‘%‘) does not exist
android·数据库·mysql
白云如幻2 小时前
MySQL的分组函数
数据库·mysql
荒川之神2 小时前
ORACLE 闪回技术简介
数据库·oracle
时差9533 小时前
【面试题】Hive 查询:如何查找用户连续三天登录的记录
大数据·数据库·hive·sql·面试·database
让学习成为一种生活方式3 小时前
R包下载太慢安装中止的解决策略-R语言003
java·数据库·r语言
秋意钟4 小时前
MySQL日期类型选择建议
数据库·mysql
Dxy12393102164 小时前
python下载pdf
数据库·python·pdf
桀桀桀桀桀桀5 小时前
数据库中的用户管理和权限管理
数据库·mysql