ELK安装、部署、调试(一)设计规划及准备

一、整体规划如图:

【filebeat】

需要收集日志的服务器,安装filebeat软件,用于收集日志。logstash也可以收集日志,但是占用的系统资源过大,所以使用了filebeat来收集日志。

【kafka】

接收filebeat的日志,进行队列及缓存,kafka使用集群的方式搭建,避免了filebeat直接向logstash传送的拥塞及日志丢失。

【logstash】

主动抓取kafka的日志信息,对日志进行过滤,分析,处理等操作。

【elasticsearch】

简称es,存储logstash处理过的日志信息,采用集群的方式搭建。

【kibana】

图形化的方式展示es的数据信息。

二、IP地址及服务器规划

filebeat :10.10.10.56 /usr/local/filebeat

kafka集群:10.10.10.71-73 /usr/local/kafka

zookeeper集群:10.10.10.71-73 /usr/local/zookeeper

logstash:10.10.10.74 /usr/local/logstash

es集群:10.10.10.65-67 /usr/local/elasticsearch

kibana:10.10.10.65 /usr/local/kinan

kibana中文:10.10.10.66 /usr/local/kibana

三、java的安装

所有服务器均需要安装java的环境

centos 7.9默认已安装java 1.8_242所以不需要再次安装java了

下/载java

tar -zxvf java**.gz -C /usr/local

设置java环境变量

vi /etc/profile

末尾加

export JAVA_HOME=/usr/loca/java/jdk1.8.0_201

export PATH=PATH:JAVA_HOME/bin

export CLASSPATH=.JAVA_HOME/lib/tools.jar:JAVA_HOME/lib/dt.jar:$CLASSPATH

source /etc/profile

java -version 查看版本

默认系统自带java,就不需要重新安装

相关推荐
绝知此事20 分钟前
ELK 从入门到精通:Spring Boot 实战三部曲(二)—— 进阶特性与性能优化
spring boot·elk·性能优化
绝知此事22 分钟前
ELK 从入门到精通:Spring Boot 实战三部曲(一)—— 基础核心与快速上手
spring boot·后端·elk
誰能久伴不乏2 天前
【Qt 架构实战】从零手写工业级 Qt 日志系统:底层拦截与架构原理解析
qt·架构·日志
JaydenAI4 天前
[MAF预定义的IChatClient中间件-01]LoggingChatClient——在LLM调用前后输出日志
ai·c#·agent·日志·agent管道·chatclient中间件
Donk_676 天前
ELK+Redis架构搭建
redis·elk·架构
Plastic garden6 天前
ELK(1)
elk
fengxin_rou8 天前
【MySQL 三大日志深度解析】:redo log、undo log、binlog 作用与两阶段提交原理
数据库·mysql·日志·redo log
不吃土豆的马铃薯9 天前
Spdlog 入门:日志记录器与日志槽基础详解
服务器·开发语言·c++·c·日志·spdlog
heimeiyingwang9 天前
【架构实战】日志体系ELK:集中化日志管理实践
elk·架构·wpf
米高梅狮子9 天前
01.ELK企业日志分析系统
运维·服务器·网络·数据库·elk·oracle