Flink 的 Kafka Table API Connector

Flink DataStream Connectors和Table API Connectors是Flink中用于连接外部数据源的两种不同的连接器。

  • Flink DataStream Connectors是用于将外部数据源连接到Flink DataStream API的连接器。

  • 它们提供了与各种数据源(如Kafka、RabbitMQ、HDFS等)的集成能力。

  • DataStream Connectors提供了低级别的数据源和数据接收器的接口,允许用户以更细粒度的方式控制数据的读取和写入。

2. Table API Connectors:

  • Flink Table API Connectors是用于将外部数据源连接到Flink Table API和SQL的连接器。

- 它们提供了与各种数据源(如Kafka、JDBC、Elasticsearch等)的集成能力。

**- Table API Connectors提供了高级别的接口,使用户可以使用类似于SQL的语法来查询和处理数据。

  • 它们支持将外部数据源映射为Flink表,并提供了对表的查询和转换的操作。**

总的来说,DataStream Connectors提供了更低级别的接口,允许用户更细粒度地控制数据的读取和写入,而Table API Connectors提供了更高级别的接口,使用户可以使用类似于SQL的语法来查询和处理数据。DataStream connectors 在一个相对较低级别的命令式编程 API 中提供了流处理的原语(即时间、状态和数据流管理), Table API connectors 抽象了许多内部结构,并提供了结构化和声明性的 API。两种 API 都可以处理有界和无界流。

Flink DataStream API与Data Table API集成:https://lrting.top/backend/3912/

Kafka 的 Table API Connector:https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/connectors/table/kafka/

使用 Kafka 的 Table API Connector:https://blog.csdn.net/wtmdcnm/article/details/117821106

对于用户认可的生产实践使用Flink的业务场景来说,主要是以下四种:

  • 实时 ETL。
  • 实时数据报表。
  • 实时业务监控。
  • 然后还有一个就是 CEP 在线业务。

https://flink-learning.org.cn/article/detail/817b69f597fa691edc57269a8b3b78cd?name=article&tab=suoyou&page=-1

相关推荐
q_35488851534 分钟前
AI大模型:python新能源汽车推荐系统 协同过滤推荐算法 Echarts可视化 Django框架 大数据毕业设计(源码+文档)✅
大数据·人工智能·python·机器学习·信息可视化·汽车·推荐算法
一只专注api接口开发的技术猿5 小时前
微服务架构下集成淘宝商品 API 的实践与思考
java·大数据·开发语言·数据库·微服务·架构
AC赳赳老秦5 小时前
Dify工作流+DeepSeek:运维自动化闭环(数据采集→报告生成)
android·大数据·运维·数据库·人工智能·golang·deepseek
明洞日记5 小时前
【软考每日一练009】计算机系统性能评价:基准程序分类与 TPC 实战案例详解
大数据·数据库
李慕婉学姐5 小时前
【开题答辩过程】以《基于Spring Boot和大数据的医院挂号系统的设计与实现》为例,不知道这个选题怎么做的,不知道这个选题怎么开题答辩的可以进来看看
大数据·spring boot·后端
汽车仪器仪表相关领域6 小时前
全程高温伴热,NOx瞬态精准捕捉:MEXA-1170HCLD加热型NOx测定装置项目实战全解
大数据·服务器·网络·人工智能·功能测试·单元测试·可用性测试
橙露6 小时前
嵌入式实时操作系统 FreeRTOS:任务调度与信号量的核心应用
java·大数据·服务器
DO_Community6 小时前
DigitalOcean携手Persistent达成战略合作,让 AI 更亲民、更易扩展
大数据·人工智能·ai·llm·区块链
乾元7 小时前
数据为王——安全数据集的清洗与特征工程
大数据·网络·人工智能·安全·web安全·机器学习·架构
2501_942158437 小时前
服务设计从成本到利润引擎的重构
大数据·python·重构