flink 批量写clickhouse

idea maven 依赖

<dependency>

<groupId>ru.yandex.clickhouse</groupId>

<artifactId>clickhouse-jdbc</artifactId>

<version>0.2.4</version>

</dependency>

val clickhouseUri = "jdbc:clickhouse://host:8123/aso?user=root&password=XXX"

val table =""

processed.addSink(

JdbcSink.sink(

"insert into $table values(?,?)",

CKSinkBuilder(),

JdbcExecutionOptions.Builder()

.withBatchIntervalMs(20000)

.withBatchSize(20000).build(), //20s一批或20000条数据,那个先达到都执行sink

JdbcConnectionOptions.JdbcConnectionOptionsBuilder()

.withUrl(clickhouseUri)

.withDriverName("ru.yandex.clickhouse.ClickHouseDriver")

.build()

)

)

class CKSinkBuilder : JdbcStatementBuilder<DemoData> {

override fun accept(ps: PreparedStatement, v: DemoData) {

ps.setLong(1, v.ts!!)

ps.setSTring(2, v.data!!)

//还有其他字段接着set ps.setSTring(3, v.XXX!!)

}

}

class DemoData{

var ts: Long? = null

var data: String? = null

}

相关推荐
2601_962071575 小时前
【Java报错已解决】org.springframework.beans.factory.BeanCreationException
java·开发语言
zww89491115 小时前
酒馆预约系统开发实战:从需求分析到上线全流程指南
java·eclipse
zww89491118 小时前
匿名树洞系统开发实战:从需求分析到部署指南
java·eclipse
黑马程序员毕设9 小时前
基于Java的医院药品管理系统的优化设计与实现
java·开发语言·spring boot·小程序·架构·课程设计·毕设
头茬韭菜9 小时前
第 01 篇:「架构鸟瞰与进程启动链路」—— JobManager / TaskManager 从零长出来的完整调用链
架构·flink
木井巳9 小时前
【BFS/DFS 解决 FloodFill 算法】太平洋大西洋水流问题
java·算法·leetcode·深度优先·广度优先·宽度优先·推荐算法
白山编程大哥10 小时前
Java 集合算法:从排序、查找到底层原理的实战指南
java·python·算法
devpotato10 小时前
缓存与数据库更新顺序不一致问题
java·数据库·redis
xcl092510 小时前
酒馆预约系统开发实战:从需求分析到上线全流程指南
java·spring boot·需求分析
Kyrie_kk10 小时前
Java--IO--Path文件访问
java·后端