ELK安装、部署、调试(一)设计规划及准备

一、整体规划如图:

【filebeat】

需要收集日志的服务器,安装filebeat软件,用于收集日志。logstash也可以收集日志,但是占用的系统资源过大,所以使用了filebeat来收集日志。

【kafka】

接收filebeat的日志,进行队列及缓存,kafka使用集群的方式搭建,避免了filebeat直接向logstash传送的拥塞及日志丢失。

【logstash】

主动抓取kafka的日志信息,对日志进行过滤,分析,处理等操作。

【elasticsearch】

简称es,存储logstash处理过的日志信息,采用集群的方式搭建。

【kibana】

图形化的方式展示es的数据信息。

二、IP地址及服务器规划

filebeat :10.10.10.56 /usr/local/filebeat

kafka集群:10.10.10.71-73 /usr/local/kafka

zookeeper集群:10.10.10.71-73 /usr/local/zookeeper

logstash:10.10.10.74 /usr/local/logstash

es集群:10.10.10.65-67 /usr/local/elasticsearch

kibana:10.10.10.65 /usr/local/kinan

kibana中文:10.10.10.66 /usr/local/kibana

三、java的安装

所有服务器均需要安装java的环境

centos 7.9默认已安装java 1.8_242所以不需要再次安装java了

下/载java

tar -zxvf java**.gz -C /usr/local

设置java环境变量

vi /etc/profile

末尾加

export JAVA_HOME=/usr/loca/java/jdk1.8.0_201

export PATH=PATH:JAVA_HOME/bin

export CLASSPATH=.JAVA_HOME/lib/tools.jar:JAVA_HOME/lib/dt.jar:$CLASSPATH

source /etc/profile

java -version 查看版本

默认系统自带java,就不需要重新安装

相关推荐
信创天地1 天前
信创环境下数据库与中间件监控实战:指标采集、工具应用与告警体系构建
java·运维·数据库·安全·elk·华为·中间件
信创天地2 天前
信创日志全流程管控:ELK国产化版本与华为日志服务实战应用
运维·安全·elk·华为·rabbitmq·dubbo
故事不长丨5 天前
C#log4net详解:从入门到精通,配置、实战与框架对比
c#·.net·wpf·log4net·日志·winform·日志系统
三不原则6 天前
实战:ELK 分析 AI 系统日志,快速定位接口报错问题
人工智能·elk
BullSmall6 天前
ELK 单机版日志系统【一键自动化部署脚本 + 完整配套配置】
运维·elk·自动化
BullSmall6 天前
基于 ELK 部署单机版日志系统方案
运维·elk
张彦峰ZYF6 天前
探索数据的力量:Elasticsearch中指定链表字段的统计查询记录
搜索引擎·性能优化·es
_oP_i8 天前
Elasticsearch 在 Windows安装
es
进击的小菜鸡dd8 天前
互联网大厂Java面试:微服务、电商场景下的全栈技术问答与解析
java·spring boot·缓存·微服务·消息队列·日志·电商
网络工程师_ling8 天前
【 Elastiflow (ELK) 网络流量分析系统 部署教程】
网络·elk