flink

大大大大晴天

Flink SQL 从编写到提交运行的全过程解析Flink SQL 作为声明式 API，其从用户编写 SQL 语句到最终物理执行，需要经历一套独立的编译流水线：SQL 解析 → 逻辑计划 → 优化计划 → 物理计划 → Transformation → StreamGraph → JobGraph → ExecutionGraph → 物理执行图。

大大大大晴天

Flinksql内置函数不够用？一文弄懂UDFFlink SQL 内置了丰富的函数库（字符串处理、数学运算、时间操作、条件判断等），但在实际生产环境中，以下场景内置函数无法覆盖：

手可摘星辰777

一次线上FlinkCDC异常排查复盘任务架构： MySQL (Master/Slave) -> FlinkCDC (3.3.0) -> Flink TaskManager -> Paimon (On HDFS)

阿里云大数据AI技术

Flink Forward Asia 2026 深圳启幕：Agentic Streaming for AI，开启实时智能新范式6 月 26 日，由 Apache 软件基金会（Apache Software Foundation）官方授权，阿里云主办的社区年度技术盛会 Flink Forward Asia （FFA）2026在深圳正式拉开帷幕。本届大会以"实时数据，智能未来"为主题，吸引了来自全球的开发者、数据工程师、AI 从业者及行业领袖齐聚鹏城，共同见证实时计算技术迈入 AI Native 新纪元的关键时刻。

Flink 实时数仓开发实战：SQL中也能做到资源精细化管理前三篇解决了怎么跑、怎么管、DDL 怎么复用。这篇解决第四件事：怎么省。Flink 1.6 提供了细粒度资源配置的能力。该能力大大提升了大任务、大并发作业下资源利用率。但是直至 2.x 版本该能力只支持 DataStream，Flink SQL 无法享受到细粒度资源配置带来的福利。

大大大大晴天

浅聊Flink实时关联计算的不适用场景Flink计算引擎已成为大数据实时计算领域的事实标准，然而还是有不少应用场景不适合使用Flink进行实时加工与关联计算，本文简单聊聊一些不适用场景。

大大大大晴天

深入解析 Flink Kafka Connector：原理、配置与最佳实践Flink 作为主流的流计算引擎，与 Kafka 的集成是最常见的架构模式。Flink Kafka Connector 承担了数据摄入（Source）与数据输出（Sink）的核心职责，其内部机制涉及分区发现、偏移量管理、精确一次语义保障等关键环节。

Volunteer Technology

Flink Table API与SQL（一）在第六章中，我们已经掌握了Apache Flink多级API的知识。前面的编码范式都建立在DataStream核心API之上，尽管这种方法功能强大，但编程过程相对复杂。除了这种基于DataStream/DataSet API的编程模式，Flink还提供了Table API和SQL编程模式。Table API将数据抽象为“表”，并以类似SQL的语法进行处理，避免了复杂的函数定义。而SQL编程则是Flink中最高层次的抽象，支持使用标准SQL对数据进行处理。值得注意的是，SQL查询可以在Table API定义

OceanBase数据库官方博客

OceanBase + Flink 数据集成（第二部分）：通过 JDBC 协议实现实时数据同步Apache Flink 是一个开源的流处理框架，专为分布式、高吞吐和高性能的实时数据处理场景设计。OceanBase 官方提供了基于 JDBC 的 Flink Connector，可以在 Flink 中通过标准 JDBC 协议将数据高效写入 OceanBase，支持 MySQL 兼容模式和 Oracle 兼容模式，适用于实时数据同步、流式计算结果写入等场景。

大大大大晴天️

Flink Connector Formats深度解析：从原理到实践在实时数据处理管道中，数据的序列化与反序列化（SerDe）是连接外部系统的关键环节。Apache Flink 通过Connector Formats机制，将数据编解码逻辑从连接器中解耦，实现了格式与连接器的灵活组合。

大大大大晴天

Flink Connector Formats深度解析：从原理到实践在实时数据处理管道中，数据的序列化与反序列化（SerDe）是连接外部系统的关键环节。Apache Flink 通过Connector Formats机制，将数据编解码逻辑从连接器中解耦，实现了格式与连接器的灵活组合。

Volunteer Technology

Flink Table API与SQL（二）Table API是Apache Flink的统一关系型API，支持批处理和流处理,它是SQL语言的超集，Flink Table API可以使用Scala、Java和Python语言进行编写，在实际开发中Table API没有SQL编程方式简便，建议在开发中使用SQL编程方式，下面我们对一些重点的Table API使用进行介绍。

Flink第六章：flink中的时间和窗口在批处理系统中，我们可以等待一批数据全部到达后再统一处理，这种方式简单直接。然而，在实时流处理场景下**，数据是源源不断、无穷无尽的——这就是所谓的无界数据流。**

Volunteer Technology

Flink状态管理与容错（一）Flink是一个有状态的流式计算框架，其中的算子任务分为无状态和有状态两种。无状态算子直接基于当前输入数据进行转换输出，例如map、filter、flatMap等操作。而有状态算子则需要额外的数据来计算结果，例如sum、avg、window等算子。

Volunteer Technology

Flink 时间、窗口及操作（一）Apache Flink中的时间（Flink Time）和窗口（Flink Window）是流处理中的关键概念。时间机制用于处理和管理数据流中的时间相关操作，包括处理时间和事件时间，通过指定时间属性，我们可以对数据进行排序、窗口划分和触发等操作。窗口机制用于将无限的数据流划分为有限大小的窗口，以便进行聚合、分析或转换，在Flink中有各种窗口类型，它们根据时间或其他属性划分数据流进而在窗口内执行聚合、计数、求和等操作，以获得窗口内数据的统计结果。本章节我们将对Flink的时间和窗口机制进行介绍。

Volunteer Technology

Flink 时间、窗口及操作（三）通过WindowAssigners章节的学习，我们发现Flink窗口在KeyedStreams 和 Non-KeyedStreams中使用的基本结构，两者的唯一区别是keyedStreams要调用KeyBy(...)后再调用window(...)，而non-Keyed Stream只用直接调用windowAll(...)就可以，在对流调用window/windowAll设置完窗口后，还可以继续调用一系列的方法来对窗口数据进行处理，这些窗口操作的API包含Windows Trigger（窗口触发器）、Evi

Volunteer Technology

Flink 时间、窗口及操作（二）Flink中可以通过调用DataStream的assignTimestampsAndWatermarks方法来生成watermark，该方法可以通过用户指定的事件时间、数据延迟时间按照一定规律产生watermark。

Volunteer Technology

Flink状态管理与容错（二）当Flink程序进行checkpoint检查点保存时，检查点的保存需要JobManager和TaskManager以及外部存储系统的协调。首先，JobManager会向所有的TaskManager发送触发检查点的命令，接收到命令的TaskManager会对当前任务的所有状态进行快照保存，并将其持久化到远程的存储介质中，完成保存后，TaskManager会向JobManager返回确认信息。整个过程是分布式的，只有当JobManager收到所有TaskManager的确认信息后，才会确认当前检查点成功保存。

开开心心就好

解决截图被拦截黑屏问题的免费小工具软件介绍一提到截图这事儿，我就想到反截图这茬，不过今天要给大家介绍的是反反截图的工具。就说我公司那款AI吧，一旦截图，整个屏幕直接变黑，压根儿截不到东西。今天说的这款软件叫DeAntiCapture，专门对付这种反截图的情况。

暴躁小师兄数据学院

【AI大数据工程师特训笔记】第15讲：大数据环境安装目录第一章：WSL 与 Java 环境安装第二章：Hadoop 安装与配置第三章：Hive 安装与配置