65、Flink 的 DataStream Connectors 概述

1)概览
1.预定义的 Source 和 Sink

预定义的 data sources 支持从文件、目录、socket,以及 collections 和 iterators 中读取数据。

预定义的 data sinks 支持把数据写入文件、标准输出(stdout)、标准错误输出(stderr)和 socket。

2.附带的连接器

连接器可以和多种多样的第三方系统进行交互,目前支持以下系统。

复制代码
Apache Kafka (source/sink)
Apache Cassandra (source/sink)
Amazon DynamoDB (sink)
Amazon Kinesis Data Streams (source/sink)
Amazon Kinesis Data Firehose (sink)
DataGen (source)
Elasticsearch (sink)
Opensearch (sink)
FileSystem (sink)
RabbitMQ (source/sink)
Google PubSub (source/sink)
Hybrid Source (source)
Apache Pulsar (source)
JDBC (sink)
MongoDB (source/sink)
3.Apache Bahir 中的连接器

Flink 还有额外的连接器通过 Apache Bahir 发布,包括:

复制代码
Apache ActiveMQ (source/sink)
Apache Flume (sink)
Redis (sink)
Akka (sink)
Netty (source)
a)异步 I/O

使用 connector 并不是唯一可以使数据进入或者流出 Flink 的方式。

可以从外部数据库或者 Web 服务查询数据得到初始的数据流,然后通过 Map 或者 FlatMap 对初始数据流处理,Flink 提供了异步 I/O API 使这个过程更加简单、高效和稳定。

相关推荐
运维行者_3 小时前
Applications Manager中的Redis监控
大数据·服务器·数据库·人工智能·网络协议
Agent手记7 小时前
跨境电商如何用AI Agent自动运营多平台店铺?企业级「龙虾」矩阵智能体全流程落地指南
大数据·人工智能·ai·矩阵
天青色等烟雨..8 小时前
R+VIC模型融合实践技术应用及未来气候变化模型预测
大数据·人工智能·arcgis·语言模型·数据分析
云栖梦泽在8 小时前
AI安全实战:AI系统应急响应的实战演练案例
大数据·人工智能·安全
暴躁小师兄数据学院8 小时前
【AI大数据工程师特训笔记】第04讲:PostgreSQL 数据库内置函数详解
大数据·数据库·笔记·ai·语言模型
无忧智库8 小时前
电力行业集团数字化转型信息化战略规划方案(PPT)
大数据·人工智能
无忧智库10 小时前
基于5G-A(通感一体)技术的城市低空飞行器实时航线监控底座建设方案(WORD)
大数据·人工智能·5g
ShGamu10 小时前
2026上半年链条输送机厂家全流程服务与选型参考
大数据·人工智能·链条输送机
财经科技11 小时前
伟淼科技发布2026年6月营销热点:消费、文化与成长的全域增长公式
大数据
治数有道12 小时前
【一号文深度解读(上)】财务级数据中台,不是财务主题域:央国企数据中台的范式纠偏
大数据·人工智能·业财融合·数智化转型·穿透式监管·财务级数据中台·一号文