kafka消费特定topic shell脚本

脚本说明:

Kafka消费者工具脚本,输入参数topic名称,消费该topic。

bash 复制代码
#!/bin/bash
# Kafka 3.x 控制台消费者封装脚本
# 使用方法:./kfk.sh 主题名称
# 示例:./kfk.sh test_topic

################################### 【配置项 - 请根据你的环境进行修改】 ###################################
# Kafka 安装根目录(必填:修改为你的 Kafka 3.x 实际路径)
#KAFKA_HOME="/usr/local/kafka"
# Kafka 集群地址(ip:port,多个用逗号分隔)
BOOTSTRAP_SERVERS="kfk01:9092,kfk02:9092:kfk03:9092"
# 消费者组(自定义,不重复即可)
CONSUMER_GROUP="your-consumer-group"
# 消费起始位置:beginning-从头开始 latest-从最新消息开始
FROM_OFFSET="beginning"
####################################################################################################

# ====================== 参数校验 ======================
if [ $# -ne 1 ]; then
    echo -e "\033[31m[错误] 请传入一个参数:Topic 名称\033[0m"
    echo -e "\033[32m[用法] ./$0  topic_name\033[0m"
    echo -e "\033[32m[示例] ./$0  tms_ods\033[0m"
    exit 1
fi

# 接收 Topic 参数
TOPIC_NAME=$1

# ====================== 环境校验 ======================
# 检查 Kafka 目录是否存在
if [ ! -d "${KAFKA_HOME}" ]; then
    echo -e "\033[31m[错误] Kafka 目录不存在:${KAFKA_HOME}\033[0m"
    exit 1
fi

# 检查消费者脚本是否存在(Kafka 3.x 固定路径)
CONSUMER_SCRIPT="${KAFKA_HOME}/bin/kafka-console-consumer.sh"
if [ ! -f "${CONSUMER_SCRIPT}" ]; then
    echo -e "\033[31m[错误] 消费者脚本不存在:${CONSUMER_SCRIPT}\033[0m"
    echo -e "\033[31m请检查 KAFKA_HOME 配置是否正确\033[0m"
    exit 1
fi

# ====================== 启动消费 ======================
echo -e "\033[36m=============================================\033[0m"
echo -e "\033[32m[信息] Kafka 3.x 消费者启动成功\033[0m"
echo -e "\033[32m[集群] ${BOOTSTRAP_SERVERS}\033[0m"
echo -e "\033[32m[Topic] ${TOPIC_NAME}\033[0m"
echo -e "\033[32m[消费位置] ${FROM_OFFSET}\033[0m"
echo -e "\033[33m[操作] 按 Ctrl+C 停止消费\033[0m"
echo -e "\033[36m=============================================\033[0m"
echo ""

# 执行 Kafka 3.x 消费命令
${CONSUMER_SCRIPT} \
    --bootstrap-server ${BOOTSTRAP_SERVERS} \
    --topic ${TOPIC_NAME} \
    --group ${CONSUMER_GROUP} \
    --from-${FROM_OFFSET}

# ====================== 退出提示 ======================
echo -e "\n\033[35m[退出] 已停止消费 Topic:${TOPIC_NAME}\033[0m"
exit 0
相关推荐
jiayong2318 小时前
Kafka 高吞吐消息链路常见面试问题及详细解答
分布式·面试·kafka
段一凡-华北理工大学19 小时前
工业领域的Hadoop架构学习~系列文章05:Kafka消息队列 - 工业数据流传输
人工智能·hadoop·学习·架构·kafka·工业智能体·高炉炼铁智能化
西安邮电大学2 天前
Kafka保证消息顺序性
java·后端·kafka
Devin~Y2 天前
大厂Java面试实录:Spring Boot/Cloud、Kafka、Redis、K8s 可观测性 + RAG/Agent(小Y翻车版)
java·spring boot·redis·spring cloud·kafka·kubernetes·mybatis
西安邮电大学2 天前
Kafka如何避免重复消费
java·后端·其他·面试·kafka
未若君雅裁2 天前
Kafka 数据存储与清理机制:Topic、Partition、Segment与日志删除
分布式·kafka
大帅点兵3 天前
设计一个金融交易监控系统
大数据·clickhouse·flink·spark·kafka·hbase
Plastic garden3 天前
Kafka
分布式·kafka
未若君雅裁3 天前
Kafka 顺序消费:分区、消费者组、Key与业务有序性
分布式·微服务·kafka
Advancer-3 天前
点评plus---异步消费之后可靠的生成订单
java·spring·kafka