flink写入es的参数解析

ElasticsearchSink内部使用BulkProcessor一次将一批动作(ActionRequest)发送到ES集群。在发送批量动作前,BulkProcessor先缓存,再刷新。缓存刷新的间隔,支持基于Action数量、基于Action大小、基于时间间隔3种策略。BulkProcessor支持在同一次Bulk中有多种ActionRequest(如: IndexRequest、DeleteRequest、UpdateRequest)等等。

bulk.flush.max.actions : 默认1000。每个Bulk请求,最大缓冲Action个数。
bulk.flush.max.size.mb : 默认5mb。每个Bulk请求,最大缓冲的Action大小。
bulk.flush.interval.ms: 默认为空,单位毫秒。Bulk刷新间隔。不论Action个数或Action大小如何设置,到刷新间隔了,就会刷新缓冲,发起Bulk请求。

延迟重试策略: 默认启用指数级间隔重试策略,初始等待50ms,8次重试。如需自定义延迟重试策略,可通过以下参数配置。
bulk.flush.backoff.enable : 延迟重试是否启用。
bulk.flush.backoff.type : 延迟重试类型,CONSTANT(固定间隔)或EXPONENTIAL(指数级间隔)。
bulk.flush.backoff.delay : 延迟重试间隔。对于CONSTANT类型,此值为每次重试间的间隔;对于EXPONENTIAL,此值为初始延迟。
bulk.flush.backoff.retries: 延迟重试次数。

相关推荐
Hanson Huang2 天前
【存储中间件API】MySQL、Redis、MongoDB、ES常见api操作及性能比较
redis·mysql·mongodb·es
卷心菜不卷Iris3 天前
第1章大型互联网公司的基础架构——1.10 其他NoSQL数据库
数据库·nosql·es·互联网大厂·基础架构
平时不搬砖9 天前
基于 Filebeat 的日志收集
开发语言·elasticsearch·es
C_V_Better14 天前
用Kibana实现Elasticsearch索引的增删改查:实战指南
elasticsearch·搜索引擎·es
C_V_Better14 天前
Elasticsearch+Kibana安装启动与操作教程
elasticsearch·搜索引擎·es
请叫我书生18 天前
ES面试题
spring boot·es
叶 落2 个月前
Ubuntu 下载安装 kibana8.7.1
服务器·ubuntu·kibana·es
S-X-S2 个月前
ElasticSearch7.10-分词器
数据库·es
INFINI Labs2 个月前
从 Elastic 迁移到 Easysearch 指引
elasticsearch·es·easysearch
time never ceases2 个月前
Elasticsearch安装和数据迁移
大数据·数据库·elasticsearch·es