【Kafka基础】单机安装与配置指南,从零搭建环境

学习Kafka,掌握Kafka的单机部署是理解其分布式特性的第一步。本文将手把手带你完成Kafka单机环境的安装、配置及基础验证,涵盖常见问题排查技巧。

1 环境准备

1.1 系统要求

  • 操作系统:CentOS 7.9
  • 依赖组件:JDK 8+(Kafka 2.8+需要JDK11+)、ZooKeeper(Kafka 2.8+内置ZooKeeper,可跳过独立安装)
  • 资源建议:至少2核CPU,4GB内存,磁盘空间 ≥ 10GB(日志保留默认7天)

    检查Java版本(示例为CentOS)

    [root@node6 kafka]# java -version
    java version "11.0.25" 2024-10-15 LTS
    Java(TM) SE Runtime Environment 18.9 (build 11.0.25+9-LTS-256)
    Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.25+9-LTS-256, mixed mode)
    [root@node6 kafka]#

2 安装Kafka

2.1 下载与解压

下载地址: Index of /dist/kafka/3.6.0

复制代码
tar -zxvf kafka_2.13-3.6.0.tgz -C /export/home/kafka/

2.2 目录结构说明

复制代码
       [root@node6 kafka_2.13-3.6.0]# tree -L 1 
.
├── bin/            # 【核心】Kafka 管理脚本(启动/停止/运维)
├── config/         # 【核心】配置文件(服务端、客户端、ZooKeeper)
├── libs/           # 【核心】Kafka 运行依赖的 Java 库(JAR 文件)
├── logs/           # 【运行时生成】日志文件(服务启动后自动生成)
├── licenses/       # 第三方依赖的许可证文件
├── site-docs/      # HTML 格式的官方文档(本地版)
├── LICENSE         # Apache 2.0 许可证文件
└── NOTICE          # 项目版权声明文件

6 directories, 2 files
[root@node6 kafka_2.13-3.6.0]# 

3 配置Kafka

3.1 单机模式配置

复制代码
# 编辑config/server.properties核心参数:备份文件并添加如下内容
cp config/server.properties config/server.properties_bak
cat >config/server.properties<<EOF
# Broker唯一ID(单机保持默认即可)
broker.id=0

# 监听地址(重要!改成实际IP或0.0.0.0)
listeners=PLAINTEXT://192.168.10.35:9092

# 日志存储目录(确保有写入权限)
log.dirs=/export/home/kafka/kafka_2.13-3.6.0/logs

# ZooKeeper连接地址(单机默认)
zookeeper.connect=localhost:2181

# 每个Topic的默认分区数(根据需求调整)
num.partitions=1

# 日志保留时间(小时)
log.retention.hours=168

# 单个日志段最大大小(默认1GB)
log.segment.bytes=1073741824

# 网络线程数(建议CPU核数)
num.network.threads=2

# IO线程数(建议2*CPU核数)
num.io.threads=4
EOF

3.2 启动内置ZooKeeper

复制代码
# 启动内置ZooKeeper(前台运行,观察日志)
/export/home/kafka/kafka_2.13-3.6.0/bin/zookeeper-server-start.sh /export/home/kafka/kafka_2.13-3.6.0/config/zookeeper.properties

# 新终端窗口启动Kafka
/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-server-start.sh /export/home/kafka/kafka_2.13-3.6.0/config/server.properties

4 验证服务

4.1 创建Topic

复制代码
# 创建名为test的Topic,1分区1副本
/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-topics.sh --create \
  --bootstrap-server 192.168.10.35:9092 \
  --replication-factor 1 \
  --partitions 1 \
  --topic test
  
Last login: Thu Apr  3 21:54:04 2025 from 192.168.10.2
[root@node6 ~]# /export/home/kafka/kafka_2.13-3.6.0/bin/kafka-topics.sh --create \
>   --bootstrap-server 192.168.10.35:9092 \
>   --replication-factor 1 \
>   --partitions 1 \
>   --topic test
Created topic test.
[root@node6 ~]# 

# 查看Topic详情
/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-topics.sh --describe --topic test --bootstrap-server 192.168.10.35:9092

[root@node6 ~]# /export/home/kafka/kafka_2.13-3.6.0/bin/kafka-topics.sh --describe --topic test --bootstrap-server 192.168.10.35:9092
Topic: test     TopicId: ripsPks_T2Od3POsa7e5LQ PartitionCount: 1       ReplicationFactor: 1    Configs: segment.bytes=1073741824
        Topic: test     Partition: 0    Leader: 0       Replicas: 0     Isr: 0
[root@node6 ~]# 

4.2 生产与消费消息

复制代码
# 启动生产者(输入消息后按Ctrl+C退出)
/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-console-producer.sh \
  --bootstrap-server 192.168.10.35:9092 \
  --topic test

# 新终端启动消费者(从头开始消费)
/export/home/kafka/kafka_2.13-3.6.0/bin/kafka-console-consumer.sh \
  --bootstrap-server 192.168.10.35:9092 \
  --topic test \
  --from-beginning

5 常见问题排查

5.1. 端口冲突

  • 错误现象:Address already in use
  • 解决方案

    检查端口占用

    netstat -tulnp | grep 9092

    终止冲突进程或修改Kafka监听端口

5.2 磁盘空间不足

  • 日志清理

    手动删除旧日志(谨慎操作!)

    rm -rf /export/home/kafka/kafka_2.13-3.6.0/logs/test-0/*

    或配置自动清理(server.properties)

    log.retention.hours=168 # 保留7天

5.3 ZooKeeper连接失败

  • 检查ZK状态
    netstat -tulnp | grep 2181
相关推荐
Fireworkitte2 小时前
分布式链路追踪的实现原理
分布式
cyber_两只龙宝2 小时前
RHCE综合项目:分布式LNMP私有博客服务部署
linux·运维·服务器·分布式·虚拟机·dns·nfs
你我约定有三2 小时前
分布式微服务--RPC:原理、使用方式、与 HTTP/REST 的区别与选择
java·开发语言·分布式·后端·微服务·rpc
lang201509282 小时前
Apache Ignite 的分布式原子类型(Atomic Types)
分布式·apache·ignite
lang201509282 小时前
Apache Ignite 中的分布式 JOIN 操作
数据库·分布式·ignite
wanhengidc3 小时前
服务器分布式的作用都有什么?
运维·服务器·分布式
失散133 小时前
大型微服务项目:听书——多端重复提交订单问题&适配器模式实现不同支付方式的选择&零钱支付逻辑
分布式·微服务·rabbitmq·适配器模式
武子康3 小时前
大数据-55 Kafka 实战详解:sh启动、主题管理、Java客户端完整示例
大数据·后端·kafka
亲爱的非洲野猪5 小时前
怎么理解使用MQ解决分布式事务 -- 以kafka为例
分布式·kafka
黄雪超6 小时前
Kafka——消费者组重平衡全流程解析
大数据·分布式·kafka