源码解析flink文件连接源TextInputFormat

背景:

kafka的文件系统数据源可以支持精准一次的一致性,本文就从源码看下如何TextInputFormat如何支持状态的精准一致性

TextInputFormat源码解析

首先flink会把输入的文件进行切分,分成多个数据块的形式,每个数据源算子任务会被分配以读取其中的数据块,但是不是所有的文件都能进行分块,判断文件是否可以进行分块的代码如下:

java 复制代码
protected boolean testForUnsplittable(FileStatus pathFile) {
    if (getInflaterInputStreamFactory(pathFile.getPath()) != null) {
        unsplittable = true;
        return true;
    }
    return false;
}

private InflaterInputStreamFactory<?> getInflaterInputStreamFactory(Path path) {
    String fileExtension = extractFileExtension(path.getName());
    if (fileExtension != null) {
        return getInflaterInputStreamFactory(fileExtension);
    } else {
        return null;
    }
}

后缀名称是.gz,.bzip2等的文件都没法切分,如果可以切分,切分的具体代码如下所示:

java 复制代码
while (samplesTaken < numSamples && fileNum < allFiles.size()) {
    // make a split for the sample and use it to read a record
    FileStatus file = allFiles.get(fileNum);
// 根据偏移量进行切分
    FileInputSplit split = new FileInputSplit(0, file.getPath(), offset, file.getLen() - offset, null);
    // we open the split, read one line, and take its length
    try {
        open(split);
        if (readLine()) {
            totalNumBytes += this.currLen + this.delimiter.length;
            samplesTaken++;
        }
    } finally {
        // close the file stream, do not release the buffers
        super.close();
    }
// 偏移量迁移
    offset += stepSize;

    // skip to the next file, if necessary
    while (fileNum < allFiles.size()
            && offset >= (file = allFiles.get(fileNum)).getLen()) {
        offset -= file.getLen();
        fileNum++;
    }
}

再来看一下TextInputFormat如何支持checkpoint操作,保存文件的偏移量的代码:

java 复制代码
@Override
public void snapshotState(StateSnapshotContext context) throws Exception {
    super.snapshotState(context);

    checkState(
            checkpointedState != null, "The operator state has not been properly initialized.");

    int subtaskIdx = getRuntimeContext().getIndexOfThisSubtask();
    // 算子列表状态
    checkpointedState.clear();
    // 获取文件的当前读取的偏移
    List<T> readerState = getReaderState();

    try {
        for (T split : readerState) {
           //保存到检查点路径中
            checkpointedState.add(split);
        }
    } catch (Exception e) {
        checkpointedState.clear();

        throw new Exception(
                "Could not add timestamped file input splits to to operator "
                        + "state backend of operator "
                        + getOperatorName()
                        + '.',
                e);
    }

    if (LOG.isDebugEnabled()) {
        LOG.debug(
                "{} (taskIdx={}) checkpointed {} splits: {}.",
                getClass().getSimpleName(),
                subtaskIdx,
                readerState.size(),
                readerState);
    }
}

从检查点中恢复状态的代码如下:

java 复制代码
public void initializeState(StateInitializationContext context) throws Exception {
    super.initializeState(context);

    checkState(checkpointedState == null, "The reader state has already been initialized.");

    // 初始化算子操作状态
    checkpointedState =
            context.getOperatorStateStore()
                    .getListState(new ListStateDescriptor<>("splits", new JavaSerializer<>()));

    int subtaskIdx = getRuntimeContext().getIndexOfThisSubtask();
    
    LOG.info(
            "Restoring state for the {} (taskIdx={}).", getClass().getSimpleName(), subtaskIdx);

    splits = splits == null ? new PriorityQueue<>() : splits;
    for (T split : checkpointedState.get()) {//从检查点状态中恢复各个切分的分块
        splits.add(split);
    }
}
相关推荐
二二孚日27 分钟前
自用华为ICT云赛道Big Data第四章知识点-Flink流批一体分布式实时处理引擎
大数据·华为
xufwind1 小时前
spark standlone 集群离线安装
大数据·分布式·spark
AI数据皮皮侠2 小时前
中国区域10m空间分辨率楼高数据集(全国/分省/分市/免费数据)
大数据·人工智能·机器学习·分类·业界资讯
DeepSeek大模型官方教程3 小时前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
大数据CLUB4 小时前
基于spark的奥运会奖牌变化数据分析
大数据·hadoop·数据分析·spark
Edingbrugh.南空4 小时前
Hadoop高可用集群搭建
大数据·hadoop·分布式
智慧化智能化数字化方案5 小时前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算
武子康5 小时前
大数据-33 HBase 整体架构 HMaster HRegion
大数据·后端·hbase
Edingbrugh.南空7 小时前
Flink ClickHouse 连接器维表源码深度解析
java·clickhouse·flink
诗旸的技术记录与分享19 小时前
Flink-1.19.0源码详解-番外补充3-StreamGraph图
大数据·flink