flink写入es的参数解析

ElasticsearchSink内部使用BulkProcessor一次将一批动作(ActionRequest)发送到ES集群。在发送批量动作前,BulkProcessor先缓存,再刷新。缓存刷新的间隔,支持基于Action数量、基于Action大小、基于时间间隔3种策略。BulkProcessor支持在同一次Bulk中有多种ActionRequest(如: IndexRequest、DeleteRequest、UpdateRequest)等等。

bulk.flush.max.actions : 默认1000。每个Bulk请求,最大缓冲Action个数。
bulk.flush.max.size.mb : 默认5mb。每个Bulk请求,最大缓冲的Action大小。
bulk.flush.interval.ms: 默认为空,单位毫秒。Bulk刷新间隔。不论Action个数或Action大小如何设置,到刷新间隔了,就会刷新缓冲,发起Bulk请求。

延迟重试策略: 默认启用指数级间隔重试策略,初始等待50ms,8次重试。如需自定义延迟重试策略,可通过以下参数配置。
bulk.flush.backoff.enable : 延迟重试是否启用。
bulk.flush.backoff.type : 延迟重试类型,CONSTANT(固定间隔)或EXPONENTIAL(指数级间隔)。
bulk.flush.backoff.delay : 延迟重试间隔。对于CONSTANT类型,此值为每次重试间的间隔;对于EXPONENTIAL,此值为初始延迟。
bulk.flush.backoff.retries: 延迟重试次数。

相关推荐
Java爱好狂.3 天前
分布式ID|从源码角度深度解析美团Leaf双Buffer优化方案
java·数据库·分布式·分布式id·es·java面试·java程序员
Java爱好狂.8 天前
接上篇:如何在项目中实现ES查询功能?
java·运维·jenkins·es·java面试·后端开发·java程序员
tqs_1234510 天前
创建es索引
数据库·es
菠菠萝宝1 个月前
【Java八股文】13-中间件面试篇
java·docker·kafka·rabbitmq·canal·rocketmq·es
俺俺2 个月前
(50)elasticsearch服务部署-有状态负载(华为云平台CCE)
elasticsearch·华为云·es·cce·有状态负载
a587692 个月前
Elasticsearch核心概念与Java实战:从入门到精通
java·es
坐吃山猪2 个月前
ES03-常用API
elasticsearch·es
kunwen1232 个月前
ELKB日志分析平台 部署
elk·es·日志分析·beats
小冷coding4 个月前
【面试】面试官:请举例回答Elasticsearch的数据模型有哪些核心概念?
java·分布式·elasticsearch·面试·es
墨痕诉清风4 个月前
AWS OpenSearch Dev Tools使用
aws·es·opensearch