flink

Flink CDC的使用注意：表必须有主键修改MySQL配置，开启binlog$ sudo vim /etc/my.cnf，添加如下设置

roman_日积跬步-终至千里

【Flink metric（3）】chunjun是如何实现脏数据管理的脏数据管理模块的基本逻辑是：对于代码实现：DirtyManager用于管理DirtyDataCollector，串起DirtyDataCollector的生命周期，DirtyDataCollector主要用于收集脏数据并输出（到日志中，mysql中），脏数据数量达到设定值之后，flink停止运行。

详解flink sql， calcite logical转flink logical本文主要介绍calcite 如何转成自定义的relnode检查是不是calcite 的LogicalCalc 算子，是的话，重写带RelTrait 为FlinkConventions.LOGICA 的rel，类型FlinkLogicalCalc

flink使用StatementSet降低资源浪费项目中有很多ods层（mysql 通过cannal）kafka，需要对这些ods kakfa做一些etl操作后写入下一层的kafka（dwd层）。

猫猫爱吃小鱼粮

59、Flink 的异步 IO 算子使用线程池查询 MySQL1、概述-----------Test1----------- 非静态 dataSource 和 executorService【一个并行度（Task 线程）一个实例】分区1 dataSource=>915342614 executorService=>2120731873 分区2 dataSource=>1271767714 executorService=>844411403 并行度=2，固定线程池数量=2，即查询并发度 2线程2实例=4

Flink作业执行之 4.JobGraph前文了解了由Transformation到StreamGraph的过程，StreamGraph即作业的逻辑拓扑结构。生成逻辑结构后，接下来的操作往往是对逻辑结构的优化。在很多组件中都是这样的处理，如hive、spark等都会执行“逻辑计划->优化计划->物理计划”的处理过程。

深度分析 Apache Flink 窗口机制Apache Flink 是一个用于处理实时流数据的开源框架，其核心功能之一是窗口（Window）机制。窗口是 Flink 在处理流数据时用于划分数据流的逻辑概念，它将无限的流数据切割成有限的、可管理的部分，以便进行聚合、计算和分析。

flink输出中文乱码（1）首先在/etc/profile.d/my_env.sh中加入下面这行数据（2）其次在flink配置文件中指定编码

roman_日积跬步-终至千里

【Flink metric（1）】Flink指标系统的系统性知识：获取metric以及注册自己的metric本文我们通过官网来整体了解下flink 指标系统的系统性支持本文主要关注：Flink exposes a metric system that allows gathering and exposing metrics to external systems.

SelectDB技术团队

抖音集团基于 Apache Doris 的实时数据仓库实践作者：字节跳动数据平台在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资源浪费等。

Flink SQL因类型错误导致MAX和MIN计算错误最近在做数据分析，用Flink SQL来做分析工具，因数据源的数据存在不太规范的数据格式，因此我需要通过SQL函数把我需要的数据值从VARCHAR类型的字段中把数据提取出来，然后再做MAX、MIN、SUM这些统计。怎料SUM算出来的结果准确无误，而MAX和MIN算出来的结果却始终不正确，最后发现原来是我用SQL函数提取VARCHAR类型的字段的数据，也是VARCHAR类型，所以导致MAX、MIN结果不正确，后面转成DOUBLE类型之后结果正确。

docker-compose部署Flink及Dinky服务器环境：centos7说明：(建议第一次启动容器时不映射配置文件及lib包路径，将默认的配置文件和lib包复制到宿主机后，第二次启动时再映射配置文件及lib包路径，方便后期功能扩展)

Flink 状态管理流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并且根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过90度时发出告警。有状态的计算则会基于多个事件输出结果。例如，计算过去一小时的平均温度。以及在一分钟之内收到两个相差20度以上的温度读数，则发出告警。上图中输入数据由黑条表示。无状态流处理每次只转换一条输入记录，并且仅根据最新的输入记录输出结果（白条）。有状态流处理维护所有已处理记录的状态值，并根据每条新输入的记录更新状态，因此输出记录（灰条）反映的是综合

Flink 资源静态调度本内容是根据 Flink 1.18.0-Scala_2.12 版本源码梳理而来。本文主要讲述任务提交时，为 Task 分配资源的过程。

编程小飞侠

Flink CDCCDC（Change Data Capture）：这是一种技术，用于捕获数据库中的数据变更（例如插入、更新、删除操作），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。CDC通常是通过轮询数据库事务日志或使用数据库特定的触发器来实现的。

猫猫爱吃小鱼粮

54、Flink 使用 CoGroup 实现 left/right Join 代码示例1、概述1）left join 实现2、right join 实现3、Inner Join 实现2、完整代码示例

实现一个实时数据平台的小型demo近期自己梳理了一下自己所属业务线上的数据中台技术栈，以常见的实时链路为例，从最初的埋点到数据服务层查询到结果，依次经过：

FlinkCDC 3.1.0 与 Flink 1.18.0 安装及使用 Mysql To Doris 整库同步，使用 pipepline连接器cd flink-cdc-3.1.0bin/flink-cdc.sh 会用到 linux的系统环境变量（vim /etc/profile配置），使用环境变量 FLINK_HOME

Flink 计数器Accumulator在 Apache Flink 中，Accumulator 是一个用于收集作业执行期间聚合信息的工具。它允许在用户定义的函数（如 MapFunction, FlatMapFunction, ProcessFunction 等）中累积值，并在作业完成后检索这些值。这对于跟踪诸如事件数量、处理延迟等统计信息非常有用。

Flink 1.19.1 standalone 集群模式部署及配置flink 1.19起 conf/flink-conf.yaml 更改为新的 conf/config.yaml