并行度

XueminXu21 天前
spark·并行度·spark-submit·driver-memory·num-executors·executor-memory·executor-cores
Spark提交任务的资源配置和优化Spark 提交任务时主要可调的资源配置参数包括 Driver 资源(内存、CPU)、Executor 资源(数量、内存、CPU)以及 集群管理相关参数。配置和优化时一般结合集群硬件资源、数据规模、作业类型和作业复杂度(SQL / 机器学习) 来综合设置。 下面是提交过程参数配置实例:
G皮T2 年前
大数据·flink·taskmanager·subtask·并行度·task slot·任务槽
【大数据】Flink on YARN,如何确定 TaskManager 数在 Flink 1.5 Release Notes 中,有这样一段话,直接上截图。这说明从 1.5 版本开始,Flink on YARN 时的容器数量,即 TaskManager 数量,将由程序的并行度自动推算,也就是说 flink run 脚本的 -yn / --yarncontainer 参数不起作用了(该参数用于设置 TaskManager 的个数)。那么自动推算的规则是什么呢?要弄清楚它,先来复习 Flink 的 并行度(Parallelism)和 任务槽(Task Slot)。
G皮T2 年前
大数据·flink·slot·task·subtask·并行度·算子链
【大数据】Flink 中的 Slot、Task、Subtask、并行度我们在使用 Flink 时,经常会听到 task,slot,线程 以及 并行度 这几个概念,对于初学者来说,这几个概念以及它们与内存,CPU 之间的关系经常搞不清楚,下面我们就通过这篇文章来弄清楚这些概念。
我是有底线的