flink系列

最笨的羊羊

Flink系列之：学习理解通过状态快照实现容错由 Flink 管理的 keyed state 是一种分片的键/值存储，每个 keyed state 的工作副本都保存在负责该键的 taskmanager 本地中。另外，Operator state 也保存在机器节点本地。Flink 定期获取所有状态的快照，并将这些快照复制到持久化的位置，例如分布式文件系统。

最笨的羊羊

Flink系列之：Flink SQL GatewaySQL 网关是一项允许多个客户端从远程并发执行 SQL 的服务。它提供了一种简单的方法来提交 Flink 作业、查找元数据并在线分析数据。

最笨的羊羊

Flink系列之：深入理解ttl和checkpoint，Flink SQL应用ttl案例Flink TTL（Time To Live）是一种机制，用于设置数据的过期时间，控制数据在内存或状态中的存活时间。通过设置TTL，可以自动删除过期的数据，从而释放资源并提高性能。

最笨的羊羊

Flink系列之：Checkpoints 与 Savepoints从概念上讲，Flink 的 savepoints 与 checkpoints 的不同之处类似于传统数据库系统中的备份与恢复日志之间的差异。

最笨的羊羊

Flink系列之：Elasticsearch SQL 连接器以下示例展示了如何创建 Elasticsearch sink 表：Elasticsearch 将文档存储在 JSON 字符串中。因此数据类型映射介于 Flink 数据类型和 JSON 数据类型之间。 Flink 为 Elasticsearch 连接器使用内置的 ‘json’ 格式。

最笨的羊羊

Flink系列之：Upsert Kafka SQL 连接器Upsert Kafka 连接器支持以 upsert 方式从 Kafka topic 中读取数据并将数据写入 Kafka topic。

最笨的羊羊

Flink系列之：Print SQL连接器Print 连接器允许将每一行写入标准输出流或者标准错误流。设计目的：四种 format 选项：输出字符串格式为 “$row_kind(f0,f1,f2…)“，row_kind是一个 RowKind 类型的短字符串，例如：”+I(1,1)"。

最笨的羊羊

Flink系列之：SavepointsSavepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像。你可以使用 Savepoint 进行 Flink 作业的停止与重启、fork 或者更新。 Savepoint 由两部分组成：稳定存储（列入 HDFS，S3，…) 上包含二进制文件的目录（通常很大），和元数据文件（相对较小）。稳定存储上的文件表示作业执行状态的数据镜像。 Savepoint 的元数据文件以（相对路径）的形式包含（主要）指向作为 Savepoint 一部分的稳定存储上的所有文件的指针。

最笨的羊羊

Flink系列之：CheckpointsCheckpoint 在默认的情况下仅用于恢复失败的作业，并不保留，当程序取消时 checkpoint 就会被删除。当然，你可以通过配置来保留 checkpoint，这些被保留的 checkpoint 在作业失败或取消时不会被清除。这样，你就可以使用该 checkpoint 来恢复失败的作业。

最笨的羊羊

Flink系列之：JDBC SQL 连接器JDBC 连接器允许使用 JDBC 驱动向任意类型的关系型数据库读取或者写入数据。本文档描述了针对关系型数据库如何通过建立 JDBC 连接器来执行 SQL 查询。

最笨的羊羊

Flink系列之：Apache Kafka SQL 连接器以下示例展示了如何创建 Kafka 表：以下的连接器元数据可以在表定义中通过元数据列的形式获取。R/W 列定义了一个元数据是可读的（R）还是可写的（W）。只读列必须声明为 VIRTUAL 以在 INSERT INTO 操作中排除它们。

最笨的羊羊

Flink系列之：窗口去重下面展示了窗口去重的语法：参数说明：下面的示例展示了在10分钟的滚动窗口上保持最后一条记录。注意：为了更好地理解窗口行为，这里把 timestamp 值后面的0去掉了。例如：在 Flink SQL Client 中，如果类型是 TIMESTAMP(3) ，2020-04-15 08:05 应该显示成 2020-04-15 08:05:00.000。

最笨的羊羊

Flink系列之：Table API Connectors之Raw Format例如，你可能在 Kafka 中具有原始日志数据，并希望使用 Flink SQL 读取和分析此类数据。下面的代码创建了一张表，使用 raw format 以 UTF-8 编码的形式从中读取（也可以写入）底层的 Kafka topic 作为匿名字符串值：

最笨的羊羊

Flink系列之：Table API Connectors之JSON FormatJSON Format 能读写 JSON 格式的数据。当前，JSON schema 是从 table schema 中自动推导而得的。

最笨的羊羊

Flink系列之：ORDER BY语句和LIMIT语句ORDER BY 子句使结果行根据指定的表达式进行排序。如果两行根据最左边的表达式相等，则根据下一个表达式进行比较，依此类推。如果根据所有指定的表达式它们相等，则它们以与实现相关的顺序返回。

最笨的羊羊

Flink系列之：Flink 1.8.0 中的状态 TTL：如何在 Apache Flink 中自动清理应用程序状态许多有状态流应用程序的常见要求是自动清理应用程序状态，以有效管理状态大小，或控制应用程序状态可以访问的时间（例如，由于 GDPR 等法律法规）。状态生存时间 (TTL) 功能在 Flink 1.6.0 中启动，并在 Apache Flink 中启用应用程序状态清理和高效的状态大小管理。

最笨的羊羊

Flink系列之：SQL提示SQL 提示可以与 SQL 语句一起使用来更改执行计划。本章解释如何使用提示来强制执行各种方法。一般来说，提示可用于：

最笨的羊羊

Flink系列之：动态发现新增分区为了在不重新启动 Flink 作业的情况下处理主题扩展或主题创建等场景，可以将 Kafka 源配置为在提供的主题分区订阅模式下定期发现新分区。要启用分区发现，请为属性partition.discovery.interval.ms设置一个非负值。