8.Flink数据流API编程指南-下

目录

  • 概述
  • [Data Sinks](#Data Sinks)

概述

  此篇是 Flink数据流API编程指南-上 的补充,链接。

Data Sinks

  Data sinks消费数据流并向文件、sockets、外部存储系统或打印它们, Flink 提供了几种内置的写入的方式:

  • writeAsText() / TextOutputFormat -将元素逐行写入字符串。通过调用每个元素的toString()方法获得string。

  • writeAsCsv(...) / CsvOutputFormat - 将元组写入以逗号分隔的值文件。行和字段分隔符是可配置的。每个字段的值来自对象的toString()方法。

  • print() / printToErr() - 打印标准输出/标准错误流中每个元素的toString()值。可选地,可以提供一个前缀(msg),它被附加到输出。这可以帮助区分不同的打印调用。如果并行度大于1,输出也将加上产生输出的任务的标识符。

  • writeUsingOutputFormat() / FileOutputFormat - 支持方法和基类用于自定义文件输出。支持自定义对象到字节的转换。

  • writeToSocket - 根据SerializationSchema将元素写入socket

  • addSink -调用自定义接收函数。Flink与其他系统(如Apache Kafka)的连接器捆绑在一起,这些系统被实现为接收函数。

  注意,数据流上的 write*() 方法主要用于调试目的。它们不参与Flink的检查点,这意味着这些函数通常具有至少一次的语义。将数据刷新到目标系统取决于OutputFormat的实现。这意味着并非发送到OutputFormat的所有元素都会立即显示在目标系统中。此外,在失败的情况下,这些记录可能会丢失。

相关推荐
starzy199014 小时前
Flink JobManager启动流程源码深度剖析:从ClusterEntrypoint到JobMaster启动的完整链路
大数据·flink
用户36105886261215 小时前
Flink Time 之 WaterMark 水位线原理剖析:从生成机制到传播触发与调优实战
大数据·flink
俊哥大数据17 小时前
Flink 2.3.0 从理论到实践 —— 第 2 章 Flink 运行时架构
网络·架构·flink
俊哥大数据17 小时前
Flink 2.3.0 从理论到实践 —— 第 4 章 状态管理(State)
flink
俊哥大数据18 小时前
Flink 2.3.0 从理论到实践 —— 第 5 章 时间语义与 Watermark
flink
码爸1 天前
多源异构数据库实时同步至 Doris
数据库·flink·scala
用户3610588626121 天前
Flink Time 之时间语义深度剖析:从 Processing Time 到 Event Time 与 Watermark 机制
大数据·flink
用户3610588626122 天前
Flink 窗口聚合函数详解及代码实现:从 ReduceFunction 到增量聚合 + ProcessWindowFunction 组合
大数据·flink
俊哥大数据2 天前
基于 FlinkSQL + Paimon + Doris 的车联网流批一体湖仓实践 —— 第 2 章 流批一体湖仓总体架构与三条分区契约铁律
flink·doris·湖仓一体·paimon
俊哥大数据2 天前
基于 FlinkSQL + Paimon + Doris 的车联网流批一体湖仓实践 —— 第 4 章 Kafka 企标报文入湖(ODS 表设计)
flink·doris·湖仓一体·paimon·流批一体