ELK安装、部署、调试(一)设计规划及准备

一、整体规划如图:

【filebeat】

需要收集日志的服务器,安装filebeat软件,用于收集日志。logstash也可以收集日志,但是占用的系统资源过大,所以使用了filebeat来收集日志。

【kafka】

接收filebeat的日志,进行队列及缓存,kafka使用集群的方式搭建,避免了filebeat直接向logstash传送的拥塞及日志丢失。

【logstash】

主动抓取kafka的日志信息,对日志进行过滤,分析,处理等操作。

【elasticsearch】

简称es,存储logstash处理过的日志信息,采用集群的方式搭建。

【kibana】

图形化的方式展示es的数据信息。

二、IP地址及服务器规划

filebeat :10.10.10.56 /usr/local/filebeat

kafka集群:10.10.10.71-73 /usr/local/kafka

zookeeper集群:10.10.10.71-73 /usr/local/zookeeper

logstash:10.10.10.74 /usr/local/logstash

es集群:10.10.10.65-67 /usr/local/elasticsearch

kibana:10.10.10.65 /usr/local/kinan

kibana中文:10.10.10.66 /usr/local/kibana

三、java的安装

所有服务器均需要安装java的环境

centos 7.9默认已安装java 1.8_242所以不需要再次安装java了

下/载java

tar -zxvf java**.gz -C /usr/local

设置java环境变量

vi /etc/profile

末尾加

export JAVA_HOME=/usr/loca/java/jdk1.8.0_201

export PATH=PATH:JAVA_HOME/bin

export CLASSPATH=.JAVA_HOME/lib/tools.jar:JAVA_HOME/lib/dt.jar:$CLASSPATH

source /etc/profile

java -version 查看版本

默认系统自带java,就不需要重新安装

相关推荐
程序员泠零澪回家种桔子2 天前
微服务日志治理:ELK 栈实战指南
后端·elk·微服务·云原生·架构
虫小宝3 天前
淘宝返利软件的日志审计系统:Java Logback+ELK Stack实现操作日志的可追溯与可视化分析
java·elk·logback
ALGO阿狗4 天前
一款简单易用的远程日志查看器,可实时查看云服务器上的日志数据
运维·服务器·日志
CoLiuRs5 天前
语义搜索系统原理与实现
redis·python·向量·es
一点事6 天前
windows:ELK搭建(单机)
windows·elk·jenkins
没有bug.的程序员8 天前
Spring Boot 日志管理:从 Logback 深度配置到 ELK 万亿级日志中枢实战
java·spring boot·elk·logback·日志·管理
橙露9 天前
日志分析与监控:ELK栈(Elasticsearch+Logstash+Kibana)搭建全流程指南
大数据·elk·elasticsearch
Linux蓝魔10 天前
mysql-redis-kafka-es-ngnix安装调试
linux·服务器·mysql·kafka·es
信创天地11 天前
国产化数据库深度运维:性能调优与故障排查实战指南
运维·数据库·安全·elk·自动化·rabbitmq
玄同76511 天前
MermaidTrace库:让Python运行时“自己画出”时序图
开发语言·人工智能·python·可视化·数据可视化·日志·异常