Flink入门之核心概念(三)

任务槽

  • TaskSlots: 任务槽,是TaskManager提供的用于执行Task的资源(CPU + 内存)

  • TaskManager提供的TaskSlots的个数:主要由Taskmanager所在机器的CPU核心数来决定,不能超过CPU的最大核心数

    • 1.可以在flink/conf/flink-conf.yaml文件中的numberOfTaskSlot配置
    • 2.在yarn集群中运行flink时,任务槽的个数受到yarn中container的最大CPU数 vcores
  • 一个作业的Task数量如何确定?

    • 1.主要由算子数、算子链数、并行度共同来决定的
    • 2.如果禁用算子链合并,task的数量 = 算子数 * 并行度(并行度相同)
    • 3.如果存在算子链合并,task的数量 = 合并后的算子链数(包含不合并的算子)* 并行度(并行度相同)
  • Slot共享:flink允许将上下游的task共享给同一个slot。但是注意,同一个Task的并行子任务不允许共享

  • 为什么要Slot共享?

    • 1.当我们将资源密集型和非密集型的任务同时放到一个slot中,他们就可以自行分配对资源占用的比例,保证最重的活平均分配给所有的Taskmanager
    • 2.Slot共享另一个好处就是在一个Slot中可以保存完整的作业管道
  • 能不能不共享?

    • 通过设置共享组(算子.slotSharingGroup("共享组名"))来实现共享或者不共享,默认的共享组为default,从source端往后传递,如果下游的算子没有具体设置共享组
  • 一个作业的并行度如何确定?

    • 作业的并行度由当前作业中并行度最大的算子的并行度决定
    • 一个作业需要多少个TaskSlot如何确定?
    • 作业需要多少个taskSlot由作业的并行度决定(前提是slot共享)

Yarn应用模式作业提交流程

  1. 客户端提交任务,Yarn的ResourceManager启动AM
  2. AM中的Actor通信系统
    • 启动资源管理器
    • 启动分发器
      • 分发器启动JobMaster
  3. JobMaster
    • 生成逻辑流图
    • 生成作业流图
    • 生成执行流图
    • 向资源管理器 注册请求Slot
  4. 资源管理器向Yarn的Resource manager申请资源
  5. Resource Manager启动TaskManager
  6. TaskManager向AM中的资源管理器注册需要的Slot
  7. AM的资源管理器分配slot给TaskManager
  8. JobMaster获取目前TaskManager现有的Slot个数
  9. JobMaster分配任务给各个TaskManager,各个TaskManager生成相应的物理流图并执行。
相关推荐
数字新视界11 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术11 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
武子康14 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
软件技术NINI15 小时前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
wuyk55517 小时前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
墨林陌18 小时前
AI 热点日报(2026-11-16):黄仁勋或重返英伟达,华为发具身世界模型,ChatGPT Wallet打通支付
大数据
starzy199019 小时前
Structured Streaming 结构化流概述:把流数据当作一张无限增长的表
大数据·spark
wuyk55519 小时前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
筑梦之人20 小时前
Elasticsearch 9.x 从入门到精通(4/7):聚合分析与文本分析
大数据·elasticsearch·jenkins
数字新视界1 天前
信创动环监控在机房环境管理中的智能化应用与实践分析
大数据·人工智能·物联网·信息与通信·动环监控系统