65、Flink 的 DataStream Connectors 概述

1)概览
1.预定义的 Source 和 Sink

预定义的 data sources 支持从文件、目录、socket,以及 collections 和 iterators 中读取数据。

预定义的 data sinks 支持把数据写入文件、标准输出(stdout)、标准错误输出(stderr)和 socket。

2.附带的连接器

连接器可以和多种多样的第三方系统进行交互,目前支持以下系统。

复制代码
Apache Kafka (source/sink)
Apache Cassandra (source/sink)
Amazon DynamoDB (sink)
Amazon Kinesis Data Streams (source/sink)
Amazon Kinesis Data Firehose (sink)
DataGen (source)
Elasticsearch (sink)
Opensearch (sink)
FileSystem (sink)
RabbitMQ (source/sink)
Google PubSub (source/sink)
Hybrid Source (source)
Apache Pulsar (source)
JDBC (sink)
MongoDB (source/sink)
3.Apache Bahir 中的连接器

Flink 还有额外的连接器通过 Apache Bahir 发布,包括:

复制代码
Apache ActiveMQ (source/sink)
Apache Flume (sink)
Redis (sink)
Akka (sink)
Netty (source)
a)异步 I/O

使用 connector 并不是唯一可以使数据进入或者流出 Flink 的方式。

可以从外部数据库或者 Web 服务查询数据得到初始的数据流,然后通过 Map 或者 FlatMap 对初始数据流处理,Flink 提供了异步 I/O API 使这个过程更加简单、高效和稳定。

相关推荐
龙亘川4 小时前
构建城市公共安全数字底座:亘川智城智慧安防系统全维度解读
java·大数据·开发语言·人工智能·信息可视化
BJ_Bonree4 小时前
博睿数据亮相第41届BFSI IT Summit Thailand
大数据·人工智能·物联网
好焊孙辉5 小时前
六成份额之后:鸿栢科技扩大产业规模的几点思考
大数据·人工智能·科技
跨境小彭5 小时前
Temu 全托管模式下,SKU 利润核算的实践复盘
大数据·运维·人工智能·自动化·temu
数智园区合作社5 小时前
问数平台怎么把同一个指标锁成一个数
大数据·数据库·人工智能·ai
2601_970703837 小时前
工业除湿机租赁:把一份租金合同拆开看
大数据·数据结构·算法·数据库架构·推荐算法
心疼你的一切7 小时前
Python自动发邮件实战定时发报表
大数据·开发语言·python
王中阳Go8 小时前
5.27 分钟干完后端和全部测试:一场三小时笔试的五个失分点,四个不在代码上
大数据·数据库·人工智能·后端·大语言模型
演艺大赏8 小时前
Paimon 1.3.1 报 Proxy user is not supported:Kyuubi + Kerberos 集成排查与源码级定位
大数据