Kafka 单节点测试环境部署实战

最近有一个测试环境项目环境需要搞个kafka,整个单节点的步骤吧,后面再上多节点的。

一、环境准备

1.1 系统要求

一台 Linux 服务器(虚拟机、物理机或云主机均可)

建议配置:2 核 CPU / 4GB 内存 / 20GB 以上磁盘空间

操作系统:CentOS 7/8/9、Ubuntu 20.04/22.04、Debian 10/11 等

bash 复制代码
sudo yum install -y java-11-openjdk-devel

1.2 验证 Java 版本

我这个是之前装好的jdk8

java -version

1.3 关闭防火墙

1.4 创建数据目录

bash 复制代码
sudo mkdir -p /data/kafka-logs

sudo chown -R $(whoami):$(whoami) /data/kafka-logs

二、安装 Kafka

2.1 下载二进制包

bash 复制代码
cd /opt

sudo wget https://archive.apache.org/dist/kafka/3.7.2/kafka_2.13-3.7.2.tgz

2.2 解压并创建软链接

bash 复制代码
sudo tar -xzf kafka_2.13-3.7.2.tgz

sudo chown -R $(whoami):$(whoami) kafka kafka_2.13-3.7.2

2.3 配置环境变量

bash 复制代码
echo "export KAFKA_HOME=/usr/local/kaf/kafka" >> ~/.bashrc
echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> ~/.bashrc
source ~/.bashrc

三、配置文件修改

bash 复制代码
/usr/local/kaf/kafka/config/server.properties

vim /usr/local/kaf/kafka/config/server.properties

我一般是把原来的删了,采用这个

bash 复制代码
# broker 唯一标识,单节点设为0,后面多节点再说,目前我这边只用到一个单节点
broker.id=0

# 监听地址:0.0.0.0 表示监听所有网卡
listeners=PLAINTEXT://0.0.0.0:9092

# 本机测试用 localhost;从其他机器访问,填实际IP
advertised.listeners=PLAINTEXT:// 27.192.128.44:9092

# 日志存储目录
log.dirs=/data/kafka-logs

# ZooKeeper 连接地址(使用内置 ZooKeeper 时连接本机2181)
zookeeper.connect=localhost:2181

# 可选优化配置(单节点无需高可用,但为了测试建议设置)
num.partitions=3
default.replication.factor=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

四、启动服务

启动顺序:先 ZooKeeper,后 Kafka

4.1 启动 ZooKeeper(后台运行)

bash 复制代码
cd /usr/local/kaf/kafka

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.2 等待几秒后启动 Kafka

bash 复制代码
bin/kafka-server-start.sh -daemon config/server.properties

4.3 检查进程

bash 复制代码
jps

应看到 QuorumPeerMain(ZooKeeper) 和 Kafka 两个进程

4.4 查看日志(如有问题)

bash 复制代码
tail -f /usr/local/kaf/kafka/logs/server.log
bash 复制代码
tail -200f /usr/local/kaf/kafka/logs/zookeeper.out

五、验证部署

5.1 创建测试主题

bash 复制代码
kafka-topics.sh --create \

  --topic test-topic \

  --bootstrap-server localhost:9092 \

  --partitions 3 \

  --replication-factor 1

5.2 查看主题列表

bash 复制代码
kafka-topics.sh --list --bootstrap-server localhost:9092

5.3 查看主题详情

bash 复制代码
kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092

5.4 消息生产与消费测试

打开第一个终端 27.192.128.44(生产者):

bash 复制代码
kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

输入一些消息,每行一条,例如:

asd

asdasd

fadas

打开第二个终端 27.192.128.44(消费者):

bash 复制代码
kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092

应该立即看到之前输入的消息。

至此,单节点 Kafka 已成功部署并验证。

六、停止服务

停止顺序:先 Kafka,后 ZooKeeper。

bash 复制代码
cd /usr/local/kaf/kafka
bash 复制代码
# 停止 Kafka
bin/kafka-server-stop.sh


# 停止 ZooKeeper
bin/zookeeper-server-stop.sh

Jps一下,看看进程消失没消失即可。

其他的就是写代码链接啥的推送啊消费啥的,主要是我们有一个测试环境要用到,一台足够测试用了。。

相关推荐
wuyk55513 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界17 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
goehou17 小时前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
TDengine (老段)18 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
字节跳动数据平台21 小时前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
ClouGence1 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
安心联-车辆监控管理系统1 天前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
大大大大晴天2 天前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云2 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
用户3610588626122 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka