kafka消费特定topic shell脚本

脚本说明:

Kafka消费者工具脚本,输入参数topic名称,消费该topic。

bash 复制代码
#!/bin/bash
# Kafka 3.x 控制台消费者封装脚本
# 使用方法:./kfk.sh 主题名称
# 示例:./kfk.sh test_topic

################################### 【配置项 - 请根据你的环境进行修改】 ###################################
# Kafka 安装根目录(必填:修改为你的 Kafka 3.x 实际路径)
#KAFKA_HOME="/usr/local/kafka"
# Kafka 集群地址(ip:port,多个用逗号分隔)
BOOTSTRAP_SERVERS="kfk01:9092,kfk02:9092:kfk03:9092"
# 消费者组(自定义,不重复即可)
CONSUMER_GROUP="your-consumer-group"
# 消费起始位置:beginning-从头开始 latest-从最新消息开始
FROM_OFFSET="beginning"
####################################################################################################

# ====================== 参数校验 ======================
if [ $# -ne 1 ]; then
    echo -e "\033[31m[错误] 请传入一个参数:Topic 名称\033[0m"
    echo -e "\033[32m[用法] ./$0  topic_name\033[0m"
    echo -e "\033[32m[示例] ./$0  tms_ods\033[0m"
    exit 1
fi

# 接收 Topic 参数
TOPIC_NAME=$1

# ====================== 环境校验 ======================
# 检查 Kafka 目录是否存在
if [ ! -d "${KAFKA_HOME}" ]; then
    echo -e "\033[31m[错误] Kafka 目录不存在:${KAFKA_HOME}\033[0m"
    exit 1
fi

# 检查消费者脚本是否存在(Kafka 3.x 固定路径)
CONSUMER_SCRIPT="${KAFKA_HOME}/bin/kafka-console-consumer.sh"
if [ ! -f "${CONSUMER_SCRIPT}" ]; then
    echo -e "\033[31m[错误] 消费者脚本不存在:${CONSUMER_SCRIPT}\033[0m"
    echo -e "\033[31m请检查 KAFKA_HOME 配置是否正确\033[0m"
    exit 1
fi

# ====================== 启动消费 ======================
echo -e "\033[36m=============================================\033[0m"
echo -e "\033[32m[信息] Kafka 3.x 消费者启动成功\033[0m"
echo -e "\033[32m[集群] ${BOOTSTRAP_SERVERS}\033[0m"
echo -e "\033[32m[Topic] ${TOPIC_NAME}\033[0m"
echo -e "\033[32m[消费位置] ${FROM_OFFSET}\033[0m"
echo -e "\033[33m[操作] 按 Ctrl+C 停止消费\033[0m"
echo -e "\033[36m=============================================\033[0m"
echo ""

# 执行 Kafka 3.x 消费命令
${CONSUMER_SCRIPT} \
    --bootstrap-server ${BOOTSTRAP_SERVERS} \
    --topic ${TOPIC_NAME} \
    --group ${CONSUMER_GROUP} \
    --from-${FROM_OFFSET}

# ====================== 退出提示 ======================
echo -e "\n\033[35m[退出] 已停止消费 Topic:${TOPIC_NAME}\033[0m"
exit 0
相关推荐
面向Google编程12 小时前
从零学习Kafka:生产者压缩
大数据·kafka
Jackeyzhe12 小时前
从零学习Kafka:生产者压缩
kafka
LoneEon14 小时前
Kafka集群搭建指南:KRaft模式彻底摒弃Zookeeper
分布式·kafka·centos
敖正炀14 小时前
Kafka 事务与 Exactly-Once 语义深度验证平台:分布式转账系统
kafka
敖正炀14 小时前
Kafka Streams 实时风控与异常检测系统
kafka
Devin~Y14 小时前
大厂Java面试实战:Spring Boot/Cloud、Redis/Kafka、JVM调优与Spring AI RAG(内容社区UGC+AIGC客服场景)
java·jvm·spring boot·redis·spring cloud·kafka·mybatis
学习中.........14 小时前
高并发架构下的 Kafka 与消息队列核心机制
分布式·kafka
Elastic 中国社区官方博客15 小时前
将 Logstash Pipeline 从 Azure Event Hubs 迁移到 OTel Collector Kafka Receiver
大数据·数据库·人工智能·分布式·elasticsearch·搜索引擎·kafka
倒流时光三十年15 小时前
第1篇:你真的了解 Kafka 吗?—— 破冰篇
spring boot·分布式·kafka·linq
秋漓15 小时前
Kafka
kafka