Kafka 详解

1.基本概念:Kafka 是分布式发布 - 订阅消息系统,具有高吞吐量、可扩展性等优势,支持点对点和发布订阅两种消息模式,涉及 Broker、Topic、Partition 等多种角色。

2.安装步骤:需先安装 JDK 和 Zookeeper,下载 Kafka 安装包并解压,修改 server.properties 配置文件,包括 broker.id、listeners、log.dirs 等参数,分发安装包到其他节点并修改相应配置,启动前确保 Zookeeper 已启动。

(1)启动kafka集群

(2)进到 user/local/bin里创建脚本kafka.sh并编辑

(3)vi kafka.sh

#!/bin/bash

case $1 in

"start"){

echo "----启动 Kafka 集群----"

启动当前节点(node01)

kafka-server-start.sh -daemon /opt/software/kafka/config/server.properties

远程启动 node02 和 node03(需提前配置 SSH 免密登录)

ssh node02 "source /etc/profile; kafka-server-start.sh -daemon /opt/software/kafka/config/server.properties"

ssh node03 "source /etc/profile; kafka-server-start.sh -daemon /opt/software/kafka/config/server.properties"

};;

"stop"){

echo "----停止 Kafka 集群----"

停止当前节点(node01)

kafka-server-stop.sh

远程停止 node02 和 node03

ssh node02 "source /etc/profile; kafka-server-stop.sh"

ssh node03 "source /etc/profile; kafka-server-stop.sh"

};;

Esac

(4)赋予所有用户执行权限chmod 777 kafka.sh

(5)启动集群kafka.sh start

(6)查询进程xcall.sh jps

相关推荐
stark张宇19 小时前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛1 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人1 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人2 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing3 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
真上帝的左手4 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构
zixu_star4 天前
从单机到分布式:定时任务如何处理大量数据与执行失败?
分布式
lsc_blog5 天前
听到优化风声,先准备能由自己掌控的事
数据库·分布式·中间件·职场和发展·重构
Lansonli6 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
qq_452396236 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka