Interview preparation--Elasticsearch并发控制

Elasticsearch 并发控制
  • Elasticsearch是分布式的。创建,更新,删除文档时,必须将文档的新版本复制到集群中的其他节点。ES也是异步并行的,所有这些复制请求是并行发送的,并且可能不安顺序执行到每一个节点。ES需要一种并发策略来保证数据的安全性,而这种策略就是乐观锁并发控制策略。
  • 为了保证旧文档不会被新文档覆盖,对文档执行的每个操作都由协调该更改的主分片分配一个序列号(_seq_no)。每个操作都会操作序列号递增,因此可以保证较新的操作具有更高的序列号。然后,ES 可以使用操作序列号来确保更新的文档版本永远不会被分配了较小序列号的版本覆盖。
版本号: _version
  • 基本原理:

  • 每个索引文档都有一个版本号。默认情况下,使用从1 开始的内部版本控制,每次更新都会增加。 可选操作是,版本号可以设置为外部(比如在数据库中维护)。 可以通过设置version_type = external。 提供的值必须大于或等于0 而且小于9.2e + 18 左右的数字长整型值。

  • 如果设置了version_type = external,在用外部版本类型时候,系统会检查传递给索引请求的版本号是否大于当前存储文档的版本。如果为真,文档将被索引并使用新的版本号。如果提供的值小于或等于存储文档的版本号,则会发生版本冲突,索引操作将失败。

  • _version 的有效范围是当前文档

使用if_seq_no 和 if_primary_term 进行版本控制
  • if_seq_no 和 if_primary_term 是用来并发控制,和 _version不同,_version属于当前文档,而 _seq_no属于整个index。
  • if_seq_no : 索引级别的版本号,索引中所有文档共享一个 _seq_no
  • _primary_term:是一个整数,当Primary Shard发生重新分配的时候,比如节点冲突,Primary选举或者重新分配等,_primary_term会递增1,主要用来恢复数据时候处理多个文档的_seq_no一样时候避免冲突,避免Primary Shard 上的数据被覆盖。
相关推荐
dunge20267 分钟前
# GPT 与 Codex:软件正在从“静态程序”演化为“持续推理系统”
大数据·gpt
ganbingfenxiang34 分钟前
太原干冰定制
大数据·python
跨境数据猎手41 分钟前
反向海淘SaaS系统架构拆解与业务技术
大数据·爬虫·系统架构
CodeStats1 小时前
《源纹天书》第一百四十一章至第一百四十五章:etcd升级、2PC的阻塞困境、3PC的超时突破、TCC的补偿之道、Saga的最终选择!
java·大数据·数据库·etcd·源纹天书
2601_963016262 小时前
统一消息与事件调用:如何用微信接口把微信自动化做成稳健中台?
大数据·运维·人工智能·微信·自动化
ljs6482739512 小时前
VMware 中部署 HDFS 集群环境(Hadoop 3.4.3)完整指南
大数据·hadoop·hdfs
雪碧聊技术11 小时前
Badge 应用场景与落地实践指南
大数据·人工智能
望江东浪11 小时前
我的 Claude Code 效率工具全套配置分享
大数据·elasticsearch·搜索引擎
chaoyuanl12 小时前
现有游乐设施 XR 数字化升级改造方案
大数据·科技·3d·xr·娱乐
LL3344556713 小时前
创业自动化平台怎么选
大数据·人工智能