KAFKA搭建教程

KAFKA搭建教程

期待您的关注

KAFKA学习笔记 帮助更多人

目录

KAFKA搭建教程

1.下载Kafka并解压

2.添加环境变量

[3.修改 server.properties 文件](#3.修改 server.properties 文件)

4.将kafka复制到其它节点

5.修改node1、node2节点的broker.id

[6.将master的环境变量同步到node1、 node2](#6.将master的环境变量同步到node1、 node2)

7.启动zookeeper

8.启动Kafka


1.下载Kafka并解压

下载地址:大数据相关文件快速下载入口 (qq.com)

2.添加环境变量

html 复制代码
vim /etc/profile


export KAFKA_HOME=/usr/local/soft/kafka_2.11-2.0.0
export path=$PATH:$KAFKA_HOME/bin


source /etc/profile

3.修改 server.properties 文件

html 复制代码
cd /usr/local/soft/kafka_2.11-2.0.0/config

vim server.properties


broker.id=0 每一个节点broker.id 要不一样

log.dirs=/usr/local/soft/kafka_2.11-2.0.0/data

zookeeper.connect=master:2181,node1:2181,node2:2181 消息(数据)存放的位置

4.将kafka复制到其它节点

html 复制代码
cd /usr/local/soft

scp -r kafka_2.11-2.0.0 node1:`pwd`
scp -r kafka_2.11-2.0.0 node2:`pwd`

5.修改node1、node2节点的broker.id

java 复制代码
(1) 切换node1节点

cd /usr/local/soft/kafka_2.11-2.0.0/config/

vim server.properties
	
修改
broker.id=1     ( master=0   node1=1  node2=2 )


(2) 切换node2节点

cd /usr/local/soft/kafka_2.11-2.0.0/config/

vim server.properties
	
修改
broker.id=2     ( master=0   node1=1  node2=2 )

6.将master的环境变量同步到node1、 node2

java 复制代码
scp -r /etc/profile node1:/etc/
	
scp -r /etc/profile node2:/etc/


source /etc/profile
source /etc/profile

============= Kafka 搭建完毕 ================

=============== 启动 Kafka ==================

7.启动zookeeper

java 复制代码
1) 启动zookeeper  -- 需要在master、 node1、 node2 任意位置启动
 
zkServer.sh start

2) 查看ZK状态
 
zkServer.sh status
 

8.启动Kafka

java 复制代码
kafka-server-start.sh -daemon /usr/local/soft/kafka_2.11-2.0.0/config/server.properties

jps查看进程

相关推荐
ALex_zry15 小时前
Redis Cluster 分布式缓存架构设计与实践
redis·分布式·缓存
为什么不问问神奇的海螺呢丶17 小时前
n9e categraf rabbitmq监控配置
分布式·rabbitmq·ruby
TTBIGDATA21 小时前
【Atlas】Atlas Hook 消费 Kafka 报错:GroupAuthorizationException
hadoop·分布式·kafka·ambari·hdp·linq·ranger
m0_687399841 天前
telnet localhost 15672 RabbitMQ “Connection refused“ 错误表示目标主机拒绝了连接请求。
分布式·rabbitmq
indexsunny1 天前
互联网大厂Java面试实战:微服务与Spring生态技术解析
java·spring boot·redis·kafka·mybatis·hibernate·microservices
陌上丨1 天前
生产环境分布式锁的常见问题和解决方案有哪些?
分布式
新新学长搞科研1 天前
【智慧城市专题IEEE会议】第六届物联网与智慧城市国际学术会议(IoTSC 2026)
人工智能·分布式·科技·物联网·云计算·智慧城市·学术会议
泡泡以安1 天前
Scrapy分布式爬虫调度器架构设计说明
分布式·爬虫·scrapy·调度器
编程彩机1 天前
互联网大厂Java面试:从Spring Boot到分布式事务的技术场景解析
spring boot·kafka·分布式事务·微服务架构·java面试·技术解析
没有bug.的程序员1 天前
RocketMQ 与 Kafka 深度对垒:分布式消息引擎内核、事务金融级实战与高可用演进指南
java·分布式·kafka·rocketmq·分布式消息·引擎内核·事务金融