flink写入es的参数解析

ElasticsearchSink内部使用BulkProcessor一次将一批动作(ActionRequest)发送到ES集群。在发送批量动作前,BulkProcessor先缓存,再刷新。缓存刷新的间隔,支持基于Action数量、基于Action大小、基于时间间隔3种策略。BulkProcessor支持在同一次Bulk中有多种ActionRequest(如: IndexRequest、DeleteRequest、UpdateRequest)等等。

bulk.flush.max.actions : 默认1000。每个Bulk请求,最大缓冲Action个数。
bulk.flush.max.size.mb : 默认5mb。每个Bulk请求,最大缓冲的Action大小。
bulk.flush.interval.ms: 默认为空,单位毫秒。Bulk刷新间隔。不论Action个数或Action大小如何设置,到刷新间隔了,就会刷新缓冲,发起Bulk请求。

延迟重试策略: 默认启用指数级间隔重试策略,初始等待50ms,8次重试。如需自定义延迟重试策略,可通过以下参数配置。
bulk.flush.backoff.enable : 延迟重试是否启用。
bulk.flush.backoff.type : 延迟重试类型,CONSTANT(固定间隔)或EXPONENTIAL(指数级间隔)。
bulk.flush.backoff.delay : 延迟重试间隔。对于CONSTANT类型,此值为每次重试间的间隔;对于EXPONENTIAL,此值为初始延迟。
bulk.flush.backoff.retries: 延迟重试次数。

相关推荐
程序员大阳5 天前
副队长JavaScript教程(50)-DOM:网页开发的起点
javascript·dom·es·节点·概念·document·关系
枫子有风6 天前
卡码网盘项目深挖
java·redis·jwt·es·pgvector
Elastic 中国社区官方博客13 天前
我们如何通过 70 多个拉取请求,将 OpenTelemetry Java agent 迁移到 invokedynamic
java·大数据·开发语言·elasticsearch·搜索引擎·全文检索·es
Elastic 中国社区官方博客14 天前
控制告警如何触发、恢复和发送通知:Elastic 可观测性中的 Kibana 通用告警
大数据·数据库·安全·elasticsearch·搜索引擎·全文检索·es
骑着蜗牛撵大象32718 天前
设备监控数据存与查:Spring Boot 接入 TimescaleDB 超表的完整落地
android·spring boot·后端·springboot·时序数据库·es·设备监控
weixin_476470771 个月前
ELK 平台部署操作手册(9.4)
es
骑着蜗牛撵大象3271 个月前
微信远程指挥电脑:用Hermes Agent构建本地AI执行引擎实战指南
机器人·自动化·es
骑着蜗牛撵大象3271 个月前
从跨平台Linux到鸿蒙PC:基于Qt C++的Flameshot截图工具源码级适配
harmonyos·鸿蒙·es
佛祖让我来巡山2 个月前
从零搭建ELK日志采集系统:Filebeat + Logstash + ES + Kibana 保姆级教程
kibana·es·logstash·filebeat·日志采集
吴声子夜歌2 个月前
Java面试——ElasticSearch原理及应用
java·面试·es