65、Flink 的 DataStream Connectors 概述

1)概览
1.预定义的 Source 和 Sink

预定义的 data sources 支持从文件、目录、socket,以及 collections 和 iterators 中读取数据。

预定义的 data sinks 支持把数据写入文件、标准输出(stdout)、标准错误输出(stderr)和 socket。

2.附带的连接器

连接器可以和多种多样的第三方系统进行交互,目前支持以下系统。

复制代码
Apache Kafka (source/sink)
Apache Cassandra (source/sink)
Amazon DynamoDB (sink)
Amazon Kinesis Data Streams (source/sink)
Amazon Kinesis Data Firehose (sink)
DataGen (source)
Elasticsearch (sink)
Opensearch (sink)
FileSystem (sink)
RabbitMQ (source/sink)
Google PubSub (source/sink)
Hybrid Source (source)
Apache Pulsar (source)
JDBC (sink)
MongoDB (source/sink)
3.Apache Bahir 中的连接器

Flink 还有额外的连接器通过 Apache Bahir 发布,包括:

复制代码
Apache ActiveMQ (source/sink)
Apache Flume (sink)
Redis (sink)
Akka (sink)
Netty (source)
a)异步 I/O

使用 connector 并不是唯一可以使数据进入或者流出 Flink 的方式。

可以从外部数据库或者 Web 服务查询数据得到初始的数据流,然后通过 Map 或者 FlatMap 对初始数据流处理,Flink 提供了异步 I/O API 使这个过程更加简单、高效和稳定。

相关推荐
0和1的舞者33 分钟前
网络通信的奥秘:网络层ip与路由详解(四)
大数据·网络·计算机网络·计算机·智能路由器·计算机科学与技术
WLJT1231231232 小时前
九寨:在山水间触摸生活的诗意
大数据·生活
Elastic 中国社区官方博客5 小时前
在 Elasticsearch 中使用 Mistral Chat completions 进行上下文工程
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
橙色云-智橙协同研发5 小时前
从 CAD 图纸到 Excel 数据:橙色云智橙 PLM 打造制造企业数字化协同新模式
大数据·功能测试·云原生·cad·plm·云plm·bom提取
喝可乐的希饭a6 小时前
Elasticsearch 的 Routing 策略详解
大数据·elasticsearch·搜索引擎
TDengine (老段)8 小时前
TDengine 字符串函数 CHAR 用户手册
java·大数据·数据库·物联网·时序数据库·tdengine·涛思数据
2501_933670798 小时前
高职大数据技术专业需要的基础
大数据
科技峰行者9 小时前
微软与OpenAI联合研发“Orion“超大规模AI模型:100万亿参数开启“科学家AI“新纪元
大数据·人工智能·microsoft
拓端研究室9 小时前
2025母婴用品双11营销解码与AI应用洞察报告|附40+份报告PDF、数据、绘图模板汇总下载
大数据·人工智能
GOATLong10 小时前
git使用
大数据·c语言·c++·git·elasticsearch