在 Apache Flink 中，当 TaskManager 之间进行分布式计算时，flatMap 等算子中的对象必须序列化，主要原因是：
分布式数据传输需求
-
跨节点通信：在分布式环境中，数据需要在不同的 TaskManager 之间传输，必须将对象转换为字节流才能通过网络传输
-
数据分片：Flink 需要将数据分发到不同的并行任务实例中，序列化是数据分发的基础
Flink 的并行执行机制
-
任务并行化 ：当算子（如
flatMap）设置并行度大于1时，数据需要在多个并行实例间分配 -
数据重分布：Flink 根据 key 或其他策略重新分配数据，需要序列化支持
JVM 间内存隔离
-
内存空间隔离：不同 TaskManager 运行在独立的 JVM 中，无法直接共享内存对象
-
进程间通信：必须通过序列化将对象状态传递到另一个 JVM
容错和恢复机制
-
状态快照：Flink 的 checkpoint 机制需要序列化算子状态
-
故障恢复：当任务失败时，需要从序列化的状态快照恢复
数据序列化示例
public class MyData implements Serializable {
private static final long serialVersionUID = 1L;
private String value;
// ...
}在 flatMap 中使用自定义对象时，实现 Serializable 接口可以确保对象能够被正确序列化和反序列化。
算子的概念和类型
什么是算子
算子（Operator）是数据流处理中的基本计算单元，用于对输入数据进行转换、过滤、聚合等操作。
主要算子类型
转换算子（Transformation Operators）
-
map - 一对一转换，将每个元素映射为另一个元素
-
flatMap- 一对多转换，将每个元素映射为零个、一个或多个元素 -
filter- 过滤操作，保留满足条件的元素
聚合算子（Aggregation Operators）
-
reduce- 逐步聚合操作 -
sum- 求和操作 -
max- 最大值聚合 -
min- 最小值聚合
连接算子（Join Operators）
-
join- 两个数据流的连接操作 -
coGroup- 分组连接操作
窗口算子（Window Operators）
-
window- 定义时间窗口 -
windowAll- 全局窗口操作
算子的特征
-
输入输出 - 接收一个或多个数据流作为输入，产生一个输出数据流
-
并行执行 - 可以在多个并行实例中同时执行
-
链式调用 - 支持多个算子串联形成数据处理流水线
-
有状态/无状态 - 部分算子可以维护状态信息
示例代码
java
DataStream<String> input = env.addSource(source);
DataStream<String> result = input
.filter(item -> item != null) // filter算子
.map(String::toUpperCase) // map算子
.flatMap(item -> Arrays.asList(item.split(" "))); // flatMap算子