Apache Flink Dashboard

1、Overview

Apache Flink Web Dashboardhttp://110.40.130.231:8081/#/overview

这张图片显示的是Apache Flink的Web UI界面,其中包含了以下几个部分:

  1. Available Task Slots : 显示当前可用的任务槽位数量。任务槽位是指Flink集群中可用于运行任务的资源单元。每个任务槽位代表一个并行度,可以运行一个任务实例。
  2. Running Jobs: 显示正在运行的作业数量。在这个例子中,没有正在运行的作业。
  3. Finished/Canceled/Failed Jobs : 显示已完成、取消和失败的作业数量。在这个例子中,所有这些类型的作业数量均为零。
  4. Running Job List : 列出了正在运行的作业列表。由于没有正在运行的作业,所以这部分为空。
  5. Completed Job List : 列出了已完成的作业列表。由于没有完成的作业,所以这部分也为空。

2、Task Managers

这张图片显示的是Apache Flink的Web UI中的"Task Managers"页面,它提供了关于Flink集群中Task Manager的信息。以下是各个列的含义:

  1. Path, ID: Task Manager的路径和ID。这是Task Manager的Akka URL,用于与其他节点通信。
  2. Data Port : Task Manager的数据端口。这是Task Manager用来接收数据传输的端口。
  3. Last Heartbeat: 最近一次心跳时间。这是Task Manager发送给Job Manager的时间戳,表示其状态更新的时间。
  4. All Slots: 所有的任务槽位数。每个Task Manager都有一定数量的任务槽位,用于运行任务。
  5. Free Slots: 当前空闲的任务槽位数。这些是可以分配给新任务的未使用的任务槽位。
  6. CPU Cores: Task Manager所使用的CPU核心数。
  7. Physical MEM : Task Manager使用的物理内存大小。
  8. JVM Heap Size : Task Manager Java虚拟机堆内存大小。
  9. Flink Managed MEM: Flink管理的内存大小。这是Flink专门用于数据处理的内存区域。

在这个例子中,只有一个Task Manager,它的相关信息如下:

  • Path, ID : akka.tcp://flink@172.21.0.2:43451/user/rpc/taskmanager_0
  • Data Port : 33100
  • Last Heartbeat : 2024-10-09 23:44:56
  • All Slots : 1
  • Free Slots : 1
  • CPU Cores : 2
  • Physical MEM : 3.61 GB
  • JVM Heap Size : 512 MB
  • Flink Managed MEM : 512 MB

这个页面可以帮助您监控Flink集群的状态,查看Task Manager的数量、资源使用情况以及它们的心跳时间。如果您发现某个Task Manager长时间没有心跳或者资源使用异常,可能需要进一步调查原因。


3、Job Manager

这张图片显示的是Apache Flink的Web UI中的"Job Manager"页面,具体是"Metrics"选项卡。这个页面提供了有关Flink Job Manager的详细信息,包括内存使用情况和垃圾收集器统计信息。以下是各个部分的解释:

  1. Flink Memory Model: 这里展示了Flink内存模型的可视化图解,显示了总过程内存是如何划分为不同的内存池的,如Java堆内存、非堆内存、元空间和Java Overhead。

  2. Effective Configuration: 这一栏显示了实际配置的内存参数值。在这个例子中:

    • JVM Heap: 1.00 GB (1024 MB)
    • Off-Heap Memory: 128 MB
    • JVM Metaspace: 256 MB
    • JVM Overhead: 192 MB
  3. Metric: 这一栏显示了当前内存使用情况的百分比。在这个例子中:

    • JVM Heap: 使用了201 MB (20.31% of 1024 MB)
    • JVM Metaspace: 使用了49.2 MB (19.23% of 256 MB)
  4. Advanced: 这一部分提供了更详细的内存使用情况,包括Java堆和非堆内存的使用情况,以及外部JVM内存的计数和容量。在这个例子中:

    • JVM (Heap/Non-Heap) Memory:
      • Heap: 已承诺991 MB,使用201 MB,最大991 MB
      • Non-Heap: 已承诺76.9 MB,使用73.0 MB,最大744 MB
    • Outside JVM Memory:
      • Direct: 17个对象,使用565 KB,容量565 KB
      • Mapped: 0个对象,使用0 B,容量0 B
  5. Garbage Collection: 这一部分显示了垃圾回收器的统计信息。在这个例子中:

    • PS_MarkSweep: 发生了2次,耗时77毫秒
    • PS_Scavenge: 发生了7次,耗时96毫秒

这个页面有助于监控Job Manager的性能和内存使用情况,以便了解系统的工作负载和优化配置。您可以根据这些指标调整Flink的配置,以提高性能或避免内存溢出错误。

相关推荐
时差9532 小时前
Flink Standalone集群模式安装部署
大数据·分布式·flink·部署
锵锵锵锵~蒋2 小时前
实时数据开发 | 怎么通俗理解Flink容错机制,提到的checkpoint、barrier、Savepoint、sink都是什么
大数据·数据仓库·flink·实时数据开发
二进制_博客2 小时前
Flink学习连载文章4-flink中的各种转换操作
大数据·学习·flink
大数据编程之光2 小时前
Flink入门介绍
大数据·flink
宝哥大数据12 小时前
Flink Joins
flink
Java 第一深情16 小时前
零基础入门Flink,掌握基本使用方法
大数据·flink·实时计算
我的K840916 小时前
Flink整合Hudi及使用
linux·服务器·flink
老周聊架构1 天前
聊聊Flink:Flink中的时间语义和Watermark详解
大数据·flink
high20111 天前
【Apache Paimon】-- 5 -- Flink 向 Paimon 表写入数据
linux·flink·apache·paimon
别这么骄傲1 天前
Flink Lookup Join(维表 Join)
大数据·flink·linq