Apache Kafka UI :一款功能丰富且美观的 Kafka 开源管理平台!!

Apache Kafka UI 是一个免费的开源 Web UI,用于监控和管理 Apache Kafka 集群,可方便地查看 Kafka Brokers、Topics、消息、Consumer 等情况,支持多集群管理、性能监控、访问控制等功能。

1 特征

  • 多集群管理: 在一个地方监控和管理所有集群

  • 使用指标仪表板进行性能监控: 使用轻量级仪表板跟踪关键 Kafka 指标

  • 查看 Kafka Brokers: 查看主题和分区分配、控制器状态

  • 查看 Kafka 主题: 查看分区计数、复制状态和自定义配置

  • 查看消费者组: 查看每个分区的停放偏移量、组合滞后和每个分区滞后

  • 浏览消息: 使用 JSON、纯文本和 Avro 编码浏览消息

  • 动态主题配置: 使用动态配置创建和配置新主题

  • 自定义序列化/反序列化插件: 对数据使用现成的 Serde

  • 基于角色的访问控制: 精确管理访问 UI 的权限

  • 数据脱敏: 混淆主题消息中的敏感数据

2 入门

要运行 Apache Kafka 的 UI,可以使用预构建的 Docker 映像或自行构建它(或 jar 文件)。

快速启动(演示运行)

复制代码
docker run -it -p 8080:8080 -e DYNAMIC_CONFIG_ENABLED=true provectuslabs/kafka-ui

然后访问 http://localhost: 8080

持久安装

复制代码
services:
  kafka-ui:
    container_name: kafka-ui
    image: provectuslabs/kafka-ui:latest
    ports:
      - 8080:8080
    environment:
      DYNAMIC_CONFIG_ENABLED: true
    volumes:
      - ~/kui/config.yml:/etc/kafkaui/dynamic_config.yaml

设置 git

设置 git 凭据:

复制代码
git config --global user.name "Mona Lisa"
git config --global user.email "monalisa@louvre.net"

3 配置向导

动态应用程序配置

默认情况下,kafka-ui 不允许在运行时更改其配置。当应用程序启动时,它会从系统环境、配置文件(application.yaml)和 JVM 参数(由-D)读取配置。一旦配置被读取,它就被视为不可变,即使配置源(例如文件)发生更改也不会刷新。

4 数据脱敏

主题数据脱敏

可以配置 kafka-ui 来屏蔽消息页面中显示的敏感数据。

消除:对于 json 对象 - 删除目标字段,否则 - 返回"null"字符串。

复制代码
- type: REMOVE
  fields: [ "id", "name" ]
  ...

应用示例

复制代码
{ "id": 1234, "name": { "first": "James" }, "age": 30 }
 ->
{ "age": 30 }

5 自定义可插拔 serde 注册

可以实现自己的 serde 并将其注册到 kafka-ui 应用程序中。

  • 添加 kafka-ui-serde-api 依赖项(应该可以通过 mavencentral 下载)

  • 实现 com.provectus.kafka.ui.serde.api.Serde 接口

  • 将 serde 打包到 uber jar 中,或者提供包含无依赖项 jar 及其依赖项 jar 的目录

传送门

开源地址:https://github.com/provectus/kafka-ui

相关推荐
法欧特斯卡雷特13 分钟前
从 Kotlin 编译器 API 的变化开始: 2.2.2X -> 2.3.0-Beta1
后端·架构·开源
居7然38 分钟前
京东开源王炸!JoyAgent-JDGenie如何重新定义智能体开发?
人工智能·开源·大模型·mcp
听风吹雨yu1 小时前
RK3588从数据集到训练到部署YoloV8
linux·yolo·开源·rk3588·rknn
我都学杂了。。。2 小时前
Python的循环技巧与性能优化实战
ui
ajassi20003 小时前
开源 C# 快速开发(十七)进程--消息队列MSMQ
windows·开源·c#
ApacheSeaTunnel4 小时前
从小时级到分钟级:多点DMALL如何用Apache SeaTunnel把数据集成成本砍到1/3?
大数据·开源·数据集成·seatunnel·技术分享
独立开发者Pony5 小时前
【开源】假期爆肝我做了一个全新的Ai写小说工具模式
人工智能·开源·node.js
lisanmengmeng5 小时前
apache-tomcat 安装部署
java·tomcat·apache
星光一影5 小时前
【OA办公系统】神点企业OA办公助手/全开源
mysql·nginx·开源·php·源代码管理
还是大剑师兰特5 小时前
Kafka 面试题及详细答案100道(91-95)-- 问题排查与解决方案1
kafka·大剑师·kafka面试题·kafka教程