flink使用 DefaultResourceCalculator(默认资源计算器) 策略

在 Apache Flink 中,DefaultResourceCalculator 是一种资源计算策略,用于在资源调度过程中评估任务所需的资源量。以下是其核心特性和使用场景:

bin/flink run \

-t yarn-per-job \

-d \

-p 5 \

-Drest.flamegraph.enabled=true \

-Dyarn.application.queue=test \

-Djobmanager.memory.process.size=1024mb \

-Dtaskmanager.memory.process.size=4096mb \

-Dtaskmanager.numberOfTaskSlots=2 \

-c com.bigdata.flink.tuning.UvDemo \

/opt/module/flink-1.13.1/myjar/flink-tuning-1.0-SNAPSHOT.jar

1. 资源计算逻辑

该策略基于 Slot 数量 进行资源分配:

  • 每个 Task 所需的资源由其并行度决定
  • 资源需求公式:

    Resource_{task} = \\text{并行度} \\times \\text{每个 Slot 的资源量}

2. 关键特性

  • 单维度计算
    仅考虑 Slot 数量,不涉及 CPU/内存的独立权重分配
  • 简单高效
    适用于大多数标准场景,降低调度复杂度
  • 默认启用
    在未显式配置时自动生效

3. 配置方式

在 flink-conf.yaml 中显式指定:

复制代码
taskmanager.resource-calculator: org.apache.flink.runtime.resourcemanager.DefaultResourceCalculator

4. 适用场景

  • 集群资源同质化(Slot 配置相同)
  • 无特殊资源隔离需求
  • 需快速部署的标准批处理/流处理任务

5. 对比其他策略

策略类型 资源维度 适用场景
DefaultResourceCalculator Slot 数量 常规作业
DominantResourceCalculator CPU/内存独立权重 异构资源环境(如 Kubernetes)

提示 :在 Kubernetes/YARN 等资源异构环境中,建议切换为 DominantResourceCalculator 以优化资源利用率。

通过合理选择资源计算策略,可显著提升集群资源利用效率和作业稳定性。

相关推荐
大大大大晴天9 小时前
每天认识一个组件:VictoriaLogs
大数据
学长毕设12 小时前
基于SpringBoot 博物馆文物租赁及修复管理系统-附源码
大数据·数据库·spring boot
玖米GEO运营王总监14 小时前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
龙腾AI白云16 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
starzy199018 小时前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
大大大大晴天1 天前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界1 天前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天1 天前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城1 天前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk5551 天前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch