kafka学习笔记7 性能测试 —— 筑梦之路

kafka 不同的参数配置对 kafka 性能都会造成影响,通常情况下集群性能受分区、磁盘和线程等影响因素,因此需要进行性能测试,找出集群性能瓶颈和最佳参数。

生产者和消费者的性能测试工具

kafka-producer-perf-test.sh

kafka-consumer-perf-test.sh
kafka-producer-perf-test.sh:用于测试Kafka Producer的性能,主要输出4项指标,总共发送消息量(以MB为单位),每秒发送消息量(MB/second),发送消息总数,每秒发送消息数(records/second)。

kafka-consumer-perf-test.sh:用于测试Kafka Consumer的性能,测试指标与Producer性能测试脚本一样

测试准备

  • 前置条件:3 个Broker(节点),1个Topic(主题),3个Partition(分区),1 个 Replication(副本),异步模式,消息Payload为300字节,消息数量 5000万,kafka 版本为 3.9.2

  • 硬件配置:4 核 CPU,8G 内存,1T HDD 硬盘

  • 测试工具:Kafka自带的基准工具

生产者基准测试

bash 复制代码
bin/kafka-producer-perf-test.sh \
  --topic perf-test \
  --num-records 5000000 \
  --record-size 300 \
  --throughput -1 \
  --producer.config /opt/kafka/config/admin.properties \
  --print-metrics

参数说明:

--topic 指定topic

--num-records 指定生产数据量

--throughput 指定吞吐量(-1表示无限制)

--record-size record数据大小

--producer.config 指定 kafka 客户端配置文件路径

--print-metrics 打印结果指标值

消费者基准测试

bash 复制代码
bin/kafka-consumer-perf-test.sh \
  --topic perf-test \
  --messages 50000000 \
  --consumer.config /opt/kafka/config/admin.properties \
  --bootstrap-server 192.168.100.131:9092,192.168.100.132:9092,192.168.100.133:9092 \
  --print-metrics
相关推荐
im_AMBER3 小时前
学习日志19 python
python·学习
_Kayo_7 小时前
VUE2 学习笔记6 vue数据监测原理
vue.js·笔记·学习
chenchihwen7 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
超浪的晨7 小时前
Java UDP 通信详解:从基础到实战,彻底掌握无连接网络编程
java·开发语言·后端·学习·个人开发
使二颗心免于哀伤9 小时前
《设计模式之禅》笔记摘录 - 10.装饰模式
笔记·设计模式
悠哉悠哉愿意9 小时前
【电赛学习笔记】MaxiCAM 项目实践——与单片机的串口通信
笔记·python·单片机·嵌入式硬件·学习·视觉检测
itLaity9 小时前
基于Kafka实现简单的延时队列
spring boot·分布式·kafka
快乐肚皮9 小时前
ZooKeeper学习专栏(五):Java客户端开发(原生API)详解
学习·zookeeper·java-zookeeper
慕y2749 小时前
Java学习第七十二部分——Zookeeper
java·学习·java-zookeeper
岩中竹10 小时前
广东省省考备考——常识:科技常识(持续更新)
笔记