65、Flink 的 DataStream Connectors 概述

1)概览
1.预定义的 Source 和 Sink

预定义的 data sources 支持从文件、目录、socket,以及 collections 和 iterators 中读取数据。

预定义的 data sinks 支持把数据写入文件、标准输出(stdout)、标准错误输出(stderr)和 socket。

2.附带的连接器

连接器可以和多种多样的第三方系统进行交互,目前支持以下系统。

Apache Kafka (source/sink)
Apache Cassandra (source/sink)
Amazon DynamoDB (sink)
Amazon Kinesis Data Streams (source/sink)
Amazon Kinesis Data Firehose (sink)
DataGen (source)
Elasticsearch (sink)
Opensearch (sink)
FileSystem (sink)
RabbitMQ (source/sink)
Google PubSub (source/sink)
Hybrid Source (source)
Apache Pulsar (source)
JDBC (sink)
MongoDB (source/sink)
3.Apache Bahir 中的连接器

Flink 还有额外的连接器通过 Apache Bahir 发布,包括:

Apache ActiveMQ (source/sink)
Apache Flume (sink)
Redis (sink)
Akka (sink)
Netty (source)
a)异步 I/O

使用 connector 并不是唯一可以使数据进入或者流出 Flink 的方式。

可以从外部数据库或者 Web 服务查询数据得到初始的数据流,然后通过 Map 或者 FlatMap 对初始数据流处理,Flink 提供了异步 I/O API 使这个过程更加简单、高效和稳定。

相关推荐
nangonghen10 分钟前
通过logstash同步elasticsearch数据
大数据·elasticsearch
暮-夜染16 分钟前
从数据仓库到数据中台再到数据飞轮:我了解的数据技术进化史
大数据·数据仓库·数据飞轮
檀越剑指大厂19 分钟前
【Elasticsearch系列四】ELK Stack
大数据·elk·elasticsearch
是店小二呀20 分钟前
从数据仓库到数据中台再到数据飞轮:社交媒体的数据技术进化史
大数据·数据仓库·媒体
shuxianshrng1 小时前
鹰眼降尘系统怎么样
大数据·服务器·人工智能·数码相机·物联网
优思学院1 小时前
优思学院|如何从零开始自己学习六西格玛?
大数据·运维·服务器·学习·六西格玛黑带·cssbb
JermeryBesian1 小时前
Flink系列知识之:Checkpoint原理
大数据·flink
lwprain1 小时前
编写第一个hadoop3.3.6的mapreduce程序
大数据·mapreduce
妙龄少女郭德纲2 小时前
基于Spark框架实现XGBoost模型
大数据·分布式·spark
全栈弟弟2 小时前
高级大数据开发协会
大数据·数据仓库·hadoop·flink·spark