Apache Flink Dashboard

1、Overview

Apache Flink Web Dashboardhttp://110.40.130.231:8081/#/overview

这张图片显示的是Apache Flink的Web UI界面，其中包含了以下几个部分：

1. Available Task Slots : 显示当前可用的任务槽位数量。任务槽位是指Flink集群中可用于运行任务的资源单元。每个任务槽位代表一个并行度，可以运行一个任务实例。
2. Running Jobs: 显示正在运行的作业数量。在这个例子中，没有正在运行的作业。
3. Finished/Canceled/Failed Jobs : 显示已完成、取消和失败的作业数量。在这个例子中，所有这些类型的作业数量均为零。
4. Running Job List : 列出了正在运行的作业列表。由于没有正在运行的作业，所以这部分为空。
5. Completed Job List : 列出了已完成的作业列表。由于没有完成的作业，所以这部分也为空。

---

2、Task Managers

这张图片显示的是Apache Flink的Web UI中的"Task Managers"页面，它提供了关于Flink集群中Task Manager的信息。以下是各个列的含义：

1. Path, ID: Task Manager的路径和ID。这是Task Manager的Akka URL，用于与其他节点通信。
2. Data Port : Task Manager的数据端口。这是Task Manager用来接收数据传输的端口。
3. Last Heartbeat: 最近一次心跳时间。这是Task Manager发送给Job Manager的时间戳，表示其状态更新的时间。
4. All Slots: 所有的任务槽位数。每个Task Manager都有一定数量的任务槽位，用于运行任务。
5. Free Slots: 当前空闲的任务槽位数。这些是可以分配给新任务的未使用的任务槽位。
6. CPU Cores: Task Manager所使用的CPU核心数。
7. Physical MEM : Task Manager使用的物理内存大小。
8. JVM Heap Size : Task Manager Java虚拟机堆内存大小。
9. Flink Managed MEM: Flink管理的内存大小。这是Flink专门用于数据处理的内存区域。

在这个例子中，只有一个Task Manager，它的相关信息如下：

• Path, ID : akka.tcp://flink@172.21.0.2:43451/user/rpc/taskmanager_0
• Data Port : 33100
• Last Heartbeat : 2024-10-09 23:44:56
• All Slots : 1
• Free Slots : 1
• CPU Cores : 2
• Physical MEM : 3.61 GB
• JVM Heap Size : 512 MB
• Flink Managed MEM : 512 MB

这个页面可以帮助您监控Flink集群的状态，查看Task Manager的数量、资源使用情况以及它们的心跳时间。如果您发现某个Task Manager长时间没有心跳或者资源使用异常，可能需要进一步调查原因。

---

3、Job Manager

这张图片显示的是Apache Flink的Web UI中的"Job Manager"页面，具体是"Metrics"选项卡。这个页面提供了有关Flink Job Manager的详细信息，包括内存使用情况和垃圾收集器统计信息。以下是各个部分的解释：

1. Flink Memory Model: 这里展示了Flink内存模型的可视化图解，显示了总过程内存是如何划分为不同的内存池的，如Java堆内存、非堆内存、元空间和Java Overhead。

2. Effective Configuration: 这一栏显示了实际配置的内存参数值。在这个例子中：

   • JVM Heap: 1.00 GB (1024 MB)
   • Off-Heap Memory: 128 MB
   • JVM Metaspace: 256 MB
   • JVM Overhead: 192 MB

3. Metric: 这一栏显示了当前内存使用情况的百分比。在这个例子中：

   • JVM Heap: 使用了201 MB (20.31% of 1024 MB)
   • JVM Metaspace: 使用了49.2 MB (19.23% of 256 MB)

4. Advanced: 这一部分提供了更详细的内存使用情况，包括Java堆和非堆内存的使用情况，以及外部JVM内存的计数和容量。在这个例子中：

   • JVM (Heap/Non-Heap) Memory:
     • Heap: 已承诺991 MB，使用201 MB，最大991 MB
     • Non-Heap: 已承诺76.9 MB，使用73.0 MB，最大744 MB
   • Outside JVM Memory:
     • Direct: 17个对象，使用565 KB，容量565 KB
     • Mapped: 0个对象，使用0 B，容量0 B

5. Garbage Collection: 这一部分显示了垃圾回收器的统计信息。在这个例子中：

   • PS_MarkSweep: 发生了2次，耗时77毫秒
   • PS_Scavenge: 发生了7次，耗时96毫秒

这个页面有助于监控Job Manager的性能和内存使用情况，以便了解系统的工作负载和优化配置。您可以根据这些指标调整Flink的配置，以提高性能或避免内存溢出错误。