技术栈
translog
ly7689
21 天前
大数据
·
elasticsearch
·
搜索引擎
·
translog
·
写入链路
·
bulk调优
Elasticsearch 写入链路的 refresh、flush 与 translog 边界：为什么 bulk 吞吐会突然塌陷
假设现在有一个订单搜索服务，每天凌晨两点做全量重建，白天接收增量订单。重建时用 bulk 每批 5000 条写入，前十分钟吞吐稳定在每秒 3 万条，突然某个时刻开始变慢，客户端开始收到 es_rejected_execution_exception，重试队列越堆越长，最终整条链路像被掐住一样塌陷。
这个懒人
2 年前
数据库
·
elasticsearch
·
nosql
·
translog
深入解析Translog机制：Elasticsearch的数据守护者
Elasticsearch的数据写入流程是先写入内存缓冲区，然后定期刷新到磁盘生成Lucene分段。由于内存数据易失性，若在刷新前发生宕机，未持久化的数据将永久丢失。Translog的诞生正是为了解决这一数据可靠性问题。
我是有底线的