65、Flink 的 DataStream Connectors 概述

1)概览
1.预定义的 Source 和 Sink

预定义的 data sources 支持从文件、目录、socket,以及 collections 和 iterators 中读取数据。

预定义的 data sinks 支持把数据写入文件、标准输出(stdout)、标准错误输出(stderr)和 socket。

2.附带的连接器

连接器可以和多种多样的第三方系统进行交互,目前支持以下系统。

复制代码
Apache Kafka (source/sink)
Apache Cassandra (source/sink)
Amazon DynamoDB (sink)
Amazon Kinesis Data Streams (source/sink)
Amazon Kinesis Data Firehose (sink)
DataGen (source)
Elasticsearch (sink)
Opensearch (sink)
FileSystem (sink)
RabbitMQ (source/sink)
Google PubSub (source/sink)
Hybrid Source (source)
Apache Pulsar (source)
JDBC (sink)
MongoDB (source/sink)
3.Apache Bahir 中的连接器

Flink 还有额外的连接器通过 Apache Bahir 发布,包括:

复制代码
Apache ActiveMQ (source/sink)
Apache Flume (sink)
Redis (sink)
Akka (sink)
Netty (source)
a)异步 I/O

使用 connector 并不是唯一可以使数据进入或者流出 Flink 的方式。

可以从外部数据库或者 Web 服务查询数据得到初始的数据流,然后通过 Map 或者 FlatMap 对初始数据流处理,Flink 提供了异步 I/O API 使这个过程更加简单、高效和稳定。

相关推荐
天空'之城13 分钟前
多智能体通信灾难:消息泛滥如何拖垮整个 Agent 系统
大数据·人工智能
2601_9549711315 分钟前
数据科学与大数据技术专业求职,数据分析证书和项目先准备哪个
大数据·数据挖掘·数据分析
没落之王17 分钟前
AI在文言文——论文脉复苏对AI的意义
大数据·人工智能·算法
龙亘川21 分钟前
政法工作系统数字化建设实践解读:以全周期闭环驱动政法工作现代化
大数据·人工智能·智慧城市·开源软件·数据可视化
陈工大模型1 小时前
2026年GEO工具选型指南:搜极星GEO如何破解企业AI搜索优化困局?
大数据·人工智能
智兆APS1 小时前
缝制制造APS转型总纲:分层跃迁行动手册、选型评估与长期进化范式
大数据·人工智能·服装行业aps·包箱行业aps
小蒋观天下1 小时前
两轮车检测AI摄像头行业竞争格局与企业突围路径解析
大数据·人工智能·安全·计算机视觉·ai大模型
白露与泡影1 小时前
Jev 爆火之后,给企业应用配一个 AI 决策模型
大数据·人工智能·深度学习
zhongerzixunshi1 小时前
DLMM 企业数字化转型的“度量衡”与导航仪
大数据·人工智能
智塑未来1 小时前
通过GMP认证的制药MES系统推荐:审计追踪与电子签名能力对比
大数据·人工智能