日志收集Day008

1.zk集群优化

修改zookeeper的堆内存大小,一般情况下,生产环境给到2G足以,如果规模较大可以适当调大到4G。

(1)配置ZK的堆内存

vim /app/softwares/zk/conf/java.env

复制代码
export JAVA_HOME=/sortwares/jdk1.8.0_291
export JVMFLAGS="-Xms256m -Xmx256m $JVMFLAGS"
EOF

(2)同步文件到其他节点

data_rsync.sh /app/softwares/zk/conf/java.env

(3)重启集群

zkManager.sh restart

(4)验证堆内存

jmap -heap `jps | awk '/QuorumPeerMain/{print $1}'`

可以看到:MaxHeapSize = 268435456 (256.0MB),表明此时堆内存已经修改成功

**2.**部署kafka集群

1.停止kafka单点服务

kafka-server-stop.sh

2.修改配置文件

vim /app/softwares/kafka/config/server.properties

复制代码
# 唯一标识kafka节点的数字编号,随便写,同一个集群中节点的id编号不重复即可。
broker.id=101
# 指定kafka的数据存储路径。
log.dirs=/app/data/kafka
# kafka连接zookeeper集群地址
zookeeper.connect=10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181/kafka321

3.同步相关文件

data_rsync.sh /app/softwares/kafka

data_rsync.sh /app/softwares/kafka_2.13-3.2.1/

data_rsync.sh /etc/profile.d/kafka.sh

4.其他2个节点修改配置文件

vim /app/softwares/kafka/config/server.properties

broker.id=102(每个节点,唯一标识kafka节点的数字编号,集群内部不重复即可)

5.所有节点启动kafka环境

source /etc/profile.d/kafka.sh

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

6.查看zookeeper的源数据

zkCli.sh -server 10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181

ls /kafka321/brokers/ids

相关推荐
kangkang-28 分钟前
PC端基于SpringBoot架构控制无人机(三):系统架构设计
java·架构·无人机
iCxhust1 小时前
c# U盘映像生成工具
开发语言·单片机·c#
yangzhi_emo2 小时前
ES6笔记2
开发语言·前端·javascript
界面开发小八哥2 小时前
「Java EE开发指南」如何用MyEclipse创建一个WEB项目?(三)
java·ide·java-ee·myeclipse
idolyXyz3 小时前
[java: Cleaner]-一文述之
java
一碗谦谦粉3 小时前
Maven 依赖调解的两大原则
java·maven
emplace_back3 小时前
C# 集合表达式和展开运算符 (..) 详解
开发语言·windows·c#
jz_ddk3 小时前
[学习] C语言数学库函数背后的故事:`double erf(double x)`
c语言·开发语言·学习
萧曵 丶3 小时前
Rust 所有权系统:深入浅出指南
开发语言·后端·rust