KAFKA搭建教程

KAFKA搭建教程

期待您的关注

KAFKA学习笔记 帮助更多人

目录

KAFKA搭建教程

1.下载Kafka并解压

2.添加环境变量

[3.修改 server.properties 文件](#3.修改 server.properties 文件)

4.将kafka复制到其它节点

5.修改node1、node2节点的broker.id

[6.将master的环境变量同步到node1、 node2](#6.将master的环境变量同步到node1、 node2)

7.启动zookeeper

8.启动Kafka


1.下载Kafka并解压

下载地址:大数据相关文件快速下载入口 (qq.com)

2.添加环境变量

html 复制代码
vim /etc/profile


export KAFKA_HOME=/usr/local/soft/kafka_2.11-2.0.0
export path=$PATH:$KAFKA_HOME/bin


source /etc/profile

3.修改 server.properties 文件

html 复制代码
cd /usr/local/soft/kafka_2.11-2.0.0/config

vim server.properties


broker.id=0 每一个节点broker.id 要不一样

log.dirs=/usr/local/soft/kafka_2.11-2.0.0/data

zookeeper.connect=master:2181,node1:2181,node2:2181 消息(数据)存放的位置

4.将kafka复制到其它节点

html 复制代码
cd /usr/local/soft

scp -r kafka_2.11-2.0.0 node1:`pwd`
scp -r kafka_2.11-2.0.0 node2:`pwd`

5.修改node1、node2节点的broker.id

java 复制代码
(1) 切换node1节点

cd /usr/local/soft/kafka_2.11-2.0.0/config/

vim server.properties
	
修改
broker.id=1     ( master=0   node1=1  node2=2 )


(2) 切换node2节点

cd /usr/local/soft/kafka_2.11-2.0.0/config/

vim server.properties
	
修改
broker.id=2     ( master=0   node1=1  node2=2 )

6.将master的环境变量同步到node1、 node2

java 复制代码
scp -r /etc/profile node1:/etc/
	
scp -r /etc/profile node2:/etc/


source /etc/profile
source /etc/profile

============= Kafka 搭建完毕 ================

=============== 启动 Kafka ==================

7.启动zookeeper

java 复制代码
1) 启动zookeeper  -- 需要在master、 node1、 node2 任意位置启动
 
zkServer.sh start

2) 查看ZK状态
 
zkServer.sh status
 

8.启动Kafka

java 复制代码
kafka-server-start.sh -daemon /usr/local/soft/kafka_2.11-2.0.0/config/server.properties

jps查看进程

相关推荐
珠海西格电力1 小时前
零碳园区的能源供给成本主要包括哪些方面?
大数据·分布式·微服务·架构·能源
观测云6 小时前
观测云日志转发至 Kafka 最佳实践
kafka·日志
霑潇雨10 小时前
Spark学习基础转换算子案例(单词计数(WordCount))
java·大数据·分布式·学习·spark·maven
富士康质检员张全蛋11 小时前
Kafka架构 数据发送保障
分布式·架构·kafka
zhojiew12 小时前
使用 Spark Connect 在 Amazon EMR on EC2 上实现远程 Spark开发
大数据·分布式·spark
庞轩px13 小时前
第二篇:RocketMQ事务消息——分布式事务的最终一致性方案
分布式·rocketmq
momom14 小时前
分布式缓存集群高可用架构与一致性哈希优化实践
分布式·后端·架构
heimeiyingwang14 小时前
【架构实战】分布式事务TCC模式:两阶段提交的工程艺术
分布式·架构
WhoAmI14 小时前
Elasticsearch实战指南:构建实时全文检索系统
elasticsearch·kafka
GIS数据转换器14 小时前
蓄能电力大数据监管平台
大数据·人工智能·分布式·数据挖掘·数据分析·智慧城市