flink doris批量sink

idea maven 依赖

<dependency>

<groupId>org.apache.doris</groupId>

<artifactId>flink-doris-connector-1.11_2.12</artifactId>

<version>1.0.3</version>

</dependency>

val properties = Properties()

properties.setProperty("format", "json")

properties.setProperty("strip_outer_array", "true")

properties.setProperty("read_json_by_line", "true")

val executionOptions = DorisExecutionOptions.builder()

.setBatchSize(20000)

.setBatchIntervalMs(10000L)

.setEnableDelete(false)

.setMaxRetries(3)

.setStreamLoadProp(properties)

.build()

data.addSink(

DorisSink.sink(

executionOptions,

DorisOptions(

"host:8030",

"root",

"password",

"db.table"

)

)

)

.uid("sink-doris")

.name("数据写入doris")

相关推荐
GreenTea29 分钟前
GrokBot 核心成员 Lauren Tan:每月交付 2000 个 PR 的人,是怎么用 AI 的
前端·后端·架构
mCell2 小时前
用 Knip 清理 AI Coding 留下的冗余代码
前端·ai编程·前端工程化
鹿角片ljp2 小时前
KV Cache 解析
java·算法
captain3762 小时前
网络原理(9)-数据链路层
java·网络协议·java-ee
笃行3503 小时前
使用Rokid AIUI做了一个童年推箱子游戏
前端
惊讶的猫3 小时前
意图识别置信度和检索重排的分数
java
caoerzhong3 小时前
仓库管理数字化趋势解读:JeeWMS 开源 Java WMS 视角下的五个演进方向
java·开源
程序员JerrySUN3 小时前
Jetson Edge AI 实战01:Nano、Xavier、Orin 怎么选?Jetson 硬件选型详解【视频讲解】
java·数据库·redis·安全·mybatis
excel4 小时前
前端加密的作用与使用场景
前端