flink写入es的参数解析

ElasticsearchSink内部使用BulkProcessor一次将一批动作(ActionRequest)发送到ES集群。在发送批量动作前,BulkProcessor先缓存,再刷新。缓存刷新的间隔,支持基于Action数量、基于Action大小、基于时间间隔3种策略。BulkProcessor支持在同一次Bulk中有多种ActionRequest(如: IndexRequest、DeleteRequest、UpdateRequest)等等。

bulk.flush.max.actions : 默认1000。每个Bulk请求,最大缓冲Action个数。
bulk.flush.max.size.mb : 默认5mb。每个Bulk请求,最大缓冲的Action大小。
bulk.flush.interval.ms: 默认为空,单位毫秒。Bulk刷新间隔。不论Action个数或Action大小如何设置,到刷新间隔了,就会刷新缓冲,发起Bulk请求。

延迟重试策略: 默认启用指数级间隔重试策略,初始等待50ms,8次重试。如需自定义延迟重试策略,可通过以下参数配置。
bulk.flush.backoff.enable : 延迟重试是否启用。
bulk.flush.backoff.type : 延迟重试类型,CONSTANT(固定间隔)或EXPONENTIAL(指数级间隔)。
bulk.flush.backoff.delay : 延迟重试间隔。对于CONSTANT类型,此值为每次重试间的间隔;对于EXPONENTIAL,此值为初始延迟。
bulk.flush.backoff.retries: 延迟重试次数。

相关推荐
长路 ㅤ   7 天前
ES理论:分页查询方案及优化策略
es·scroll·search_after·elasticsearch分页·from+size·pit
Wang's Blog19 天前
Elastic Stack梳理: 关联关系处理方案深度解析与工程实践
搜索引擎·es·elastic search
Wang's Blog20 天前
Elastic Stack梳理: 聚合分析核心技术深度解析与最佳实践
elasticsearch·搜索引擎·es·elastic search
qiyongwork22 天前
挣值管理中引入ES——更准确的用时间维度监控项目执行
es·evm·earned value·挣值管理
safestar201223 天前
Elasticsearch分片设计:从数据分布失衡到集群稳定性实战
java·es
safestar201223 天前
Elasticsearch ILM实战:从数据热恋到冷静归档的自动化管理
java·开发语言·jvm·elasticsearch·es
safestar201223 天前
Elasticsearch深度实战:从分布式原理到生产环境踩坑全记录
运维·搜索引擎·全文检索·es
G皮T24 天前
【Elasticsearch】索引别名 aliases
大数据·elasticsearch·搜索引擎·es·索引·索引别名·aliases
ζั͡山 ั͡有扶苏 ั͡✾1 个月前
EFK 日志系统搭建完整教程
运维·jenkins·kibana·es·filebeat
ζั͡山 ั͡有扶苏 ั͡✾1 个月前
ES日志收集与AI智能分析程序
es·日志收集和报告