日志收集Day008

1.zk集群优化

修改zookeeper的堆内存大小,一般情况下,生产环境给到2G足以,如果规模较大可以适当调大到4G。

(1)配置ZK的堆内存

vim /app/softwares/zk/conf/java.env

复制代码
export JAVA_HOME=/sortwares/jdk1.8.0_291
export JVMFLAGS="-Xms256m -Xmx256m $JVMFLAGS"
EOF

(2)同步文件到其他节点

data_rsync.sh /app/softwares/zk/conf/java.env

(3)重启集群

zkManager.sh restart

(4)验证堆内存

jmap -heap `jps | awk '/QuorumPeerMain/{print $1}'`

可以看到:MaxHeapSize = 268435456 (256.0MB),表明此时堆内存已经修改成功

**2.**部署kafka集群

1.停止kafka单点服务

kafka-server-stop.sh

2.修改配置文件

vim /app/softwares/kafka/config/server.properties

复制代码
# 唯一标识kafka节点的数字编号,随便写,同一个集群中节点的id编号不重复即可。
broker.id=101
# 指定kafka的数据存储路径。
log.dirs=/app/data/kafka
# kafka连接zookeeper集群地址
zookeeper.connect=10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181/kafka321

3.同步相关文件

data_rsync.sh /app/softwares/kafka

data_rsync.sh /app/softwares/kafka_2.13-3.2.1/

data_rsync.sh /etc/profile.d/kafka.sh

4.其他2个节点修改配置文件

vim /app/softwares/kafka/config/server.properties

broker.id=102(每个节点,唯一标识kafka节点的数字编号,集群内部不重复即可)

5.所有节点启动kafka环境

source /etc/profile.d/kafka.sh

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

6.查看zookeeper的源数据

zkCli.sh -server 10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181

ls /kafka321/brokers/ids

相关推荐
青云交2 分钟前
Java 大视界 -- Java 大数据机器学习模型在金融信用评级模型优化与信用风险动态管理中的应用(371)
java·大数据·机器学习·信用评级·动态风控·跨境金融·小贷风控
晨非辰5 分钟前
#C语言——学习攻略:深挖指针路线(三)--数组与指针的结合、冒泡排序
c语言·开发语言·数据结构·学习·算法·排序算法·visual studio
二哈喇子!3 小时前
若依【(前后端分离版)SpringBoot+Vue3】
java·spring boot·后端
一只小风华~3 小时前
JavaScript 函数
开发语言·前端·javascript·ecmascript·web
苕皮蓝牙土豆4 小时前
Qt 分裂布局:QSplitter 使用指南
开发语言·qt
Monkey-旭6 小时前
Android Handler 完全指南
android·java·handler
秃狼6 小时前
Execel文档批量替换标签实现方案
java
Brookty6 小时前
Java线程安全与中断机制详解
java·开发语言·后端·学习·java-ee
Sylvia-girl6 小时前
排序查找算法,Map集合,集合的嵌套,Collections工具类
java·算法·排序算法
TT哇7 小时前
【分治】归并排序——排序数组(medium)
java·算法·排序算法