Linux系统上安装kafka

目录

[1. 安装Java环境](#1. 安装Java环境)

[2. 下载和解压Kafka](#2. 下载和解压Kafka)

[3. 配置Kafka](#3. 配置Kafka)

[4. 启动ZooKeeper和Kafka](#4. 启动ZooKeeper和Kafka)

[5. 测试Kafka](#5. 测试Kafka)

[6. 停止服务](#6. 停止服务)

7.常见问题


1. 安装Java环境

Kafka依赖Java运行环境(JDK 8或更高版本):

复制代码
# 安装OpenJDK(推荐)
yum install openjdk-11-jdk

# 验证安装
java -version

如果已经安装Java环境,可通过如下方式进行检查。

复制代码
​# 检查当前 JAVA_HOME
echo $JAVA_HOME

# 查找Java安装路径
update-alternatives --config java

# 输出示例:/usr/lib/jvm/java-11-openjdk-amd64/bin/java

# 设置JAVA_HOME(替换为你的路径)
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.18.0.10-1.el7_9.x86_64
export PATH=$JAVA_HOME/bin:$PATH

#永久修复(所有终端生效):
# /etc/profile
vim /etc/profile

# 添加以下内容(替换为你的路径)
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.18.0.10-1.el7_9.x86_64
export PATH=$JAVA_HOME/bin:$PATH

# 使配置生效
source /etc/profile

2. 下载和解压Kafka

从官网下载最新版Kafka(以3.7.0为例):

复制代码
​wget https://archive.apache.org/dist/kafka/3.7.0/kafka_2.13-3.7.0.tgz
tar -xzf kafka_2.13-3.7.0.tgz
mv kafka_2.13-3.7.0 /opt/kafka  #移动到/opt目录
cd /opt/kafka

3. 配置Kafka

修改配置文件 config/server.properties:

复制代码
vim config/server.properties

关键配置项:

复制代码
# 允许外部访问(替换为你的服务器IP或保持localhost)
listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://<服务器IP>:9092

# 日志存储目录(确保目录存在且可写)
log.dirs=/tmp/kafka-logs

4. 启动ZooKeeper和Kafka

Kafka依赖ZooKeeper协调服务,新版本内置了ZooKeeper:

复制代码
#启动ZooKeeper(后台运行)
nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper.log 2>&1 &

#启动Kafka(后台运行)
nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &

5. 测试Kafka

5.1 创建Topic

复制代码
bin/kafka-topics.sh --create --topic test-topic \
--bootstrap-server localhost:9092 \
--partitions 1 --replication-factor 1

5.2 启动生产者

复制代码
bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

5.3 启动消费者(新终端)

复制代码
bin/kafka-console-consumer.sh --topic test-topic --bootstrap-server localhost:9092 --from-beginning

6. 停止服务

复制代码
# 停止Kafka
bin/kafka-server-stop.sh

# 停止ZooKeeper
bin/zookeeper-server-stop.sh

7.常见问题

端口冲突:确保9092(Kafka)和2181(ZooKeeper)端口未被占用。

防火墙:开放端口或关闭防火墙:

日志目录权限:确保Kafka进程有权限写入log.dirs配置的目录。

通过以上步骤,成功在Linux上安装并运行Kafka!

相关推荐
Mikhail_G5 分钟前
Python应用函数调用(二)
大数据·运维·开发语言·python·数据分析
伤不起bb1 小时前
Kafka 消息队列
linux·运维·分布式·kafka
Hello.Reader2 小时前
Git 安装全攻略Linux、macOS、Windows 与源码编译
linux·git·macos
龙仔7252 小时前
华为云CentOS配置在线yum源,连接公网后,逐步复制粘贴,看好自己对应的版本即可,【新手必看】
linux·centos·华为云
tiging2 小时前
centos实现SSH远程登录
linux·centos·ssh
dddaidai1232 小时前
kafka入门学习
分布式·学习·kafka
好多知识都想学2 小时前
Linux 文件处理器 sed 和 awk 详细讲解
linux·运维·ubuntu
Johny_Zhao3 小时前
阿里云数据库Inventory Hint技术分析
linux·mysql·信息安全·云计算·系统运维
shangjg33 小时前
Kafka数据怎么保障不丢失
java·分布式·后端·kafka
FBI HackerHarry浩3 小时前
云计算 Linux Rocky day05【rpm、yum、history、date、du、zip、ln】
linux·运维·云计算·腾讯云