kafka学习笔记07

Kafka高可用集群搭建节点需求规划

开放端口。

Kafka高可用集群之zookeeper集群搭建环境准备

删除之前的kafka和zookeeper。

重新进行环境部署:

我们解压我们的zookeeper:

编辑第一个zookeeper的配置文件:

我们重复类似的操作,创建三个zookeeper节点:

记得改对应的端口号。

  • dataDir对应目录下分别创建myid文件,内容对应1、2、3
复制代码
# server.服务器id=服务器IP地址:服务器直接通信端口:服务器之间选举投票端口

每一个配置文件都做如下修改。

Kafka高可用集群之zookeeper集群搭建实战

我们可以去查看日志。

我们启动其他两个节点。

可以查看到zookeeper的状态。

我们可以看到一个leader和两个follower。

我们每次kill掉一个zk节点都会在日志中看到选举的日志。

Kafka高可用集群搭建-环境准备

我们重新解压我们的kafka:

修改配置文件:

从0改成1.

一个配置公网ip,一个配置私网Ip。

用于存放不同节点的log日志。

因为zk是集群的形式,所以我们也修改下这个配置。

我们还需要改一下我们的端口号:

我们创建其他节点:

我们就这样创建了剩下的两个kafka。

其他按照上面步骤做类似处理即可。

Kafka高可用集群之多个Kafka节点搭建实战

启动3个kafka

更改这个防止内存不够。

再启动我们就启动成功了。

我们用这种方式开启三个kafa。

我们在其中一个节点创建一个topic:

在kafka1节点运行。

开发多个端口。

我们去执行一下:

创建topic。

我们现在也可以发送消息:

Kafka的中的日志数据清理你知道多少

我们可以看到很多日志文件。

我们可以查看到它的大小。

我们去看kafka的配置文件:

定时任务日志配置。

Kafka高可用集群搭建实战-守护进程方式启动

每个节点都按照这种方式去启动。

我们现在把这三个窗口关掉:

我们发现三个进程都在启动。

执行这个方法:

我们就可以用这种方式启动。

Kafka的高性能原理分析归纳ZeroCopy

Kafka的高性能原理分析归纳总结

相关推荐
~在杰难逃~2 分钟前
Day15笔记-函数返回值&函数的封装&匿名函数
开发语言·笔记·python·pycharm·数据分析
少杰是小白4 分钟前
计算机二级自学笔记(程序题1部分)
c语言·笔记
网安大师兄11 分钟前
如何逼自己自学三个月——网络安全(黑客技术)
网络·sql·学习·安全·web安全·网络安全
一尘之中1 小时前
链路聚合(Link Aggregation)
网络·人工智能·学习
WPG大大通1 小时前
新能源汽车BMS 学习笔记篇—AFE 菊花链通信中电容隔离 & 电感隔离的使用
网络·经验分享·笔记·汽车·新能源·bms
Peterpan000002 小时前
CTF——简单的《WEB》
linux·经验分享·笔记·安全·网络安全
dephixf3 小时前
WPF实现Hammer 3D入门学习
学习·c#·wpf
_晓夏_3 小时前
【kafka】kafka如何保证数据的可靠性,kafka如何保证数据不丢失
分布式·kafka·kafka如何保证数据不丢失·kafka如何保证数据的可靠性·kafka的ack确认机制·kafka producer
Sebastian Wang3 小时前
【学习归纳自我总结版】尚硅谷学习第一天
java·学习
kkai人工智能3 小时前
掌握ChatGPT:高效利用AI助手
人工智能·学习·ai·chatgpt·媒体