Java通过calcite实时读取kafka中的数据

引入maven依赖

<dependency>

<groupId>org.apache.calcite</groupId>

<artifactId>calcite-kafka</artifactId>

<version>1.28.0</version>

</dependency>

测试代码

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.sql.ResultSetMetaData;

import java.sql.SQLException;

import java.util.Properties;

public class CalciteDemo {

public static void main(String\[\] args) throws SQLException {

String model = "inline:" +

"{\n" +

" \"version\": \"1.0\",\n" +

" \"defaultSchema\": \"KAFKA\",\n" +

" \"schemas\": [\n" +

" {\n" +

" \"name\": \"KAFKA\",\n" +

" \"tables\": [\n" +

" {\n" +

" \"name\": \"TEST_TABLE\",\n" +

" \"factory\": \"org.apache.calcite.adapter.kafka.KafkaTableFactory\",\n" +

" \"stream\": { \"stream\": true },\n" +

" \"operand\": {\n" +

" \"bootstrap.servers\": \"192.168.x.xx:9092\",\n" +

" \"topic.name\": \"my-cloud-events\",\n" +

" \"consumer.params\": {\n" +

" \"group.id\": \"calcite-ut-consumer\",\n" +

" \"key.deserializer\": \"org.apache.kafka.common.serialization.ByteArrayDeserializer\",\n" +

" \"value.deserializer\": \"org.apache.kafka.common.serialization.ByteArrayDeserializer\"\n" +

" }\n" +

" }\n" +

" }\n" +

" ]\n" +

" }\n" +

" ]\n" +

"}";

Properties info = new Properties();

info.put("model", model);

Connection connection = DriverManager.getConnection("jdbc:calcite:", info);

final CalciteConnection calciteConnection = connection.unwrap(CalciteConnection.class);

final String sql7 = "SELECT STREAM * FROM \"KAFKA\".\"TEST_TABLE\"";

print(calciteConnection,sql7);

connection.close();

calciteConnection.close();

}

public static void print(CalciteConnection calciteConnection, String sql7) throws SQLException {

final PreparedStatement statement = calciteConnection.prepareStatement(sql7);

final ResultSet resultSet = statement.executeQuery();

ResultSetMetaData metadata = resultSet.getMetaData();

while (resultSet.next()) {

for (int i = 1; i <= metadata.getColumnCount(); i++) {

System.out.print(metadata.getColumnLabel(i) + "=" + resultSet.getString(i) + ",");

}

System.out.println();

}

}

}

发送测试数据

运行结果

相关推荐
JAVA面经实录91734 分钟前
操作系统(面试全覆盖)
java·计算机网络·面试
编程的一拳超人1 小时前
Maven 国内高速镜像推荐(按速度排序)
java·maven
云烟成雨TD1 小时前
Spring AI 1.x 系列【61】Spring AI 2.0 升级指南
java·人工智能·spring
lulu12165440782 小时前
OpenRouter Fusion 多模型融合架构深度拆解:预算级模型组团打平 Fable 5,多模型协作才是 AGI 的正确打开方式?
java·人工智能·架构·ai编程·agi
雨辰AI2 小时前
生产级实测:SpringBoot3 + 达梦数据库接口从 200ms 优化至 20ms 完整调优指南
java·数据库·spring boot·后端·政务
(Charon)3 小时前
【C++ 面试高频:内存管理、RAII 和智能指针详解】
java·开发语言·word
凡人叶枫3 小时前
Effective C++ 条款39:明智而审慎地使用 private 继承
java·数据库·c++·嵌入式开发
轻刀快马3 小时前
跨越软硬件的共鸣(二):从 Cache 写策略看 Redis 与 DB 的一致性博弈
java·开发语言·redis·计算机组成原理
折哥的程序人生 · 物流技术专研3 小时前
Java 23 种设计模式:从踩坑到精通 | 装饰器模式 —— 比继承更灵活的扩展方式,你用过吗?
java·装饰器模式·java面试·结构型模式·java设计模式·javaio·从踩坑到精通