flink doris批量sink

idea maven 依赖

<dependency>

<groupId>org.apache.doris</groupId>

<artifactId>flink-doris-connector-1.11_2.12</artifactId>

<version>1.0.3</version>

</dependency>

val properties = Properties()

properties.setProperty("format", "json")

properties.setProperty("strip_outer_array", "true")

properties.setProperty("read_json_by_line", "true")

val executionOptions = DorisExecutionOptions.builder()

.setBatchSize(20000)

.setBatchIntervalMs(10000L)

.setEnableDelete(false)

.setMaxRetries(3)

.setStreamLoadProp(properties)

.build()

data.addSink(

DorisSink.sink(

executionOptions,

DorisOptions(

"host:8030",

"root",

"password",

"db.table"

)

)

)

.uid("sink-doris")

.name("数据写入doris")

相关推荐
xexpertS1 小时前
队列积压治理:如何避免异步系统出现难以恢复的消息积压
java·开发语言
万少6 小时前
用腻了 WorkBuddy 的默认界面?这个开源小工具给它换上了毛玻璃
前端·javascript·后端
阿维的博客日记9 小时前
MultipartFile 是不是表示仅仅是一个分片?
java·后端·spring·multipartfile
海上彼尚9 小时前
Nodejs也能写Agent - 16.LangGraph篇 - 条件分支与循环
前端·后端·langchain·node.js
程序员无隅10 小时前
Coding Agent 为什么压缩上下文后还能继续工作?上下文模块设计拆解
java·开发语言·数据库
Python+9910 小时前
Java 枚举类(Enum)详解:从基础到高级应用
java·开发语言·python
二炮手亮子10 小时前
浅记java线程池
java·开发语言
一路向北North10 小时前
Spring Security OAuth2.0(23):分布式系统授权-转发明文给微服务
java·spring·微服务
To_OC10 小时前
从 “卡死半天” 到 “打字机效果”:大模型流式输出前端实现全记录
前端·javascript·llm
SoaringHeart11 小时前
Flutter最佳实践:键盘辅助视图输入框天添加图片附件
前端·flutter