Flink API 解析 Flink Job 依赖的checkpoint 路径

引言

之前写一篇 Python 脚本解析 Flink _metadata 中依赖的 checkpoint 路径文章 Python解析 Flink Job 依赖的checkpoint 路径,代码比较暴力,直接按照 checkpoint 路径前缀判断,最近发现网上有通过 Flink API 解析 Flink Checkpoint 元数据代码的例子,参考了网上代码,并调试运行成功。

实现代码
java 复制代码
import org.apache.flink.core.fs.Path;
import org.apache.flink.runtime.checkpoint.Checkpoints;
import org.apache.flink.runtime.checkpoint.OperatorState;
import org.apache.flink.runtime.checkpoint.OperatorSubtaskState;
import org.apache.flink.runtime.checkpoint.metadata.CheckpointMetadata;
import org.apache.flink.runtime.state.*;
import org.apache.flink.runtime.state.filesystem.FileStateHandle;

import java.io.*;
import java.util.HashSet;
import java.util.Set;

/*
* @author: david.zhou
* @Flink Version: 1.14.4
* @Date: 2025/2/24 11:25
* @Description: Flink API 解析 Checkpoint 路径
* */

public class CheckpointMetadataParser {


    private static Set<String> ckPath = new HashSet<>();


    public static void main(String[] args) throws IOException {


        //  读取元数据文件
        File f=new File("/tmp/_metadata");
        FileInputStream fis=new FileInputStream(f);
        BufferedInputStream bis = new BufferedInputStream(fis);
        DataInputStream dis = new DataInputStream(bis);


        // 通过 Flink 的 Checkpoints 类解析元数据文件
        CheckpointMetadata savepoint = Checkpoints.loadCheckpointMetadata(dis,
                CheckpointMetadataParser.class.getClassLoader(), f.getAbsolutePath());
        // 打印当前的 CheckpointId
        System.out.println("CheckpointId:" + savepoint.getCheckpointId());

        // 遍历 OperatorState,这里的每个 OperatorState 对应一个 Flink 任务的 Operator 算子
        // 不要与 O
        // peratorState  和 KeyedState 混淆,不是一个层级的概念
        for(OperatorState operatorState :savepoint.getOperatorStates()) {
            //System.out.println(operatorState);
            // 当前算子的状态大小为 0 ,表示算子不带状态,直接退出
            if(operatorState.getStateSize() == 0){
                continue;
            }

            // 遍历当前算子的所有 subtask
            for(OperatorSubtaskState operatorSubtaskState: operatorState.getStates()) {
                // 解析 operatorSubtaskState 的 ManagedKeyedState
                parseManagedKeyedState(operatorSubtaskState);
                // 解析 operatorSubtaskState 的 ManagedOperatorState
                parseManagedOperatorState(operatorSubtaskState);
            }
        }

        for(String path: ckPath) {
            System.out.println("sstable 文件对应的 hdfs 位置:" + path);
        }
    }


    /**
     * 解析 operatorSubtaskState 的 ManagedKeyedState
     * @param operatorSubtaskState operatorSubtaskState
     */
    private static void parseManagedKeyedState(OperatorSubtaskState operatorSubtaskState) {
        // 遍历当前 subtask 的 KeyedState
        for(KeyedStateHandle keyedStateHandle:operatorSubtaskState.getManagedKeyedState()) {
            // 处理增量 Checkpoint
            if(keyedStateHandle instanceof IncrementalRemoteKeyedStateHandle) {
                IncrementalRemoteKeyedStateHandle incrementalStateHandle =
                        (IncrementalRemoteKeyedStateHandle) keyedStateHandle;

                // 获取 RocksDB 的 sharedState
                for (StateHandleID stateHandleID : incrementalStateHandle.getSharedStateHandleIDs()) {
                    StreamStateHandle stateHandle = incrementalStateHandle.getSharedState().get(stateHandleID);
                    //System.out.println("sstable 文件名:" + stateHandleID);
                    if (stateHandle instanceof FileStateHandle) {
                        Path filePath = ((FileStateHandle) stateHandle).getFilePath();
                        //System.out.println("filePath = " + filePath);
                        String ckSubPath = filePath.getPath().substring(0, filePath.getPath().indexOf("/shared"));
                        ckPath.add(ckSubPath);
                    }
                }
            }
        }
    }



    /**
     * 解析 operatorSubtaskState 的 ManagedOperatorState
     * @param operatorSubtaskState operatorSubtaskState
     */
    private static void parseManagedOperatorState(OperatorSubtaskState operatorSubtaskState) {
        // 遍历当前 subtask 的 OperatorState
        for(OperatorStateHandle operatorStateHandle:operatorSubtaskState.getManagedOperatorState()) {
            StreamStateHandle delegateStateHandle = operatorStateHandle.getDelegateStateHandle();
            if(delegateStateHandle instanceof FileStateHandle) {
                Path filePath = ((FileStateHandle) delegateStateHandle).getFilePath();
                //System.out.println("filePath: " + filePath.getPath());
            }
        }
    }


}
结果对比

对比了之前 Python 脚本demo,发现有结果不太一样,初步看 Python 中暴力解析部分元数据可能无效的。后续持续观察中,看看差异点。

相关推荐
数智顾问29 分钟前
【73页PPT】美的简单高效的管理逻辑(附下载方式)
大数据·人工智能·产品运营
和科比合砍81分1 小时前
ES模块(ESM)、CommonJS(CJS)和UMD三种格式
大数据·elasticsearch·搜索引擎
瓦哥架构实战2 小时前
从 Prompt 到 Context:LLM OS 时代的核心工程范式演进
大数据
weixin_lynhgworld2 小时前
盲盒抽卡机小程序系统开发:以技术创新驱动娱乐体验升级
大数据·盲盒·抽谷机
TDengine (老段)4 小时前
TDengine 时间函数 TODAY() 用户手册
大数据·数据库·物联网·oracle·时序数据库·tdengine·涛思数据
悟乙己4 小时前
数据科学家如何更好地展示自己的能力
大数据·数据库·数据科学家
东哥说-MES|从入门到精通5 小时前
Mazak MTF 2025制造未来参观总结
大数据·网络·人工智能·制造·智能制造·数字化
盟接之桥5 小时前
盟接之桥说制造:在安全、确定与及时之间,构建品质、交期与反应速度的动态平衡
大数据·运维·安全·汽车·制造·devops
链上日记5 小时前
STC携手VEX发起全球首个碳资产RWA生态,泰国峰会即将引爆绿色金融
大数据
用户Taobaoapi20146 小时前
京东商品列表API(JD.item_search)
大数据·数据挖掘·数据分析