日志收集Day008

ccnnlxc2025-01-29 11:08

1.zk集群优化

修改zookeeper的堆内存大小，一般情况下，生产环境给到2G足以，如果规模较大可以适当调大到4G。

(1)配置ZK的堆内存

vim /app/softwares/zk/conf/java.env

export JAVA_HOME=/sortwares/jdk1.8.0_291
export JVMFLAGS="-Xms256m -Xmx256m $JVMFLAGS"
EOF

(2)同步文件到其他节点

data_rsync.sh /app/softwares/zk/conf/java.env

(3)重启集群

zkManager.sh restart

(4)验证堆内存

jmap -heap `jps | awk '/QuorumPeerMain/{print $1}'`

可以看到：MaxHeapSize = 268435456 (256.0MB)，表明此时堆内存已经修改成功

**2.**部署kafka集群

1.停止kafka单点服务

kafka-server-stop.sh

2.修改配置文件

vim /app/softwares/kafka/config/server.properties

# 唯一标识kafka节点的数字编号，随便写，同一个集群中节点的id编号不重复即可。
broker.id=101
# 指定kafka的数据存储路径。
log.dirs=/app/data/kafka
# kafka连接zookeeper集群地址
zookeeper.connect=10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181/kafka321

3.同步相关文件

data_rsync.sh /app/softwares/kafka

data_rsync.sh /app/softwares/kafka_2.13-3.2.1/

data_rsync.sh /etc/profile.d/kafka.sh

4.其他2个节点修改配置文件

vim /app/softwares/kafka/config/server.properties

broker.id=102(每个节点，唯一标识kafka节点的数字编号，集群内部不重复即可)

5.所有节点启动kafka环境

source /etc/profile.d/kafka.sh

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

6.查看zookeeper的源数据

zkCli.sh -server 10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181

ls /kafka321/brokers/ids