ELK安装、部署、调试(一)设计规划及准备

一、整体规划如图:

【filebeat】

需要收集日志的服务器,安装filebeat软件,用于收集日志。logstash也可以收集日志,但是占用的系统资源过大,所以使用了filebeat来收集日志。

【kafka】

接收filebeat的日志,进行队列及缓存,kafka使用集群的方式搭建,避免了filebeat直接向logstash传送的拥塞及日志丢失。

【logstash】

主动抓取kafka的日志信息,对日志进行过滤,分析,处理等操作。

【elasticsearch】

简称es,存储logstash处理过的日志信息,采用集群的方式搭建。

【kibana】

图形化的方式展示es的数据信息。

二、IP地址及服务器规划

filebeat :10.10.10.56 /usr/local/filebeat

kafka集群:10.10.10.71-73 /usr/local/kafka

zookeeper集群:10.10.10.71-73 /usr/local/zookeeper

logstash:10.10.10.74 /usr/local/logstash

es集群:10.10.10.65-67 /usr/local/elasticsearch

kibana:10.10.10.65 /usr/local/kinan

kibana中文:10.10.10.66 /usr/local/kibana

三、java的安装

所有服务器均需要安装java的环境

centos 7.9默认已安装java 1.8_242所以不需要再次安装java了

下/载java

tar -zxvf java**.gz -C /usr/local

设置java环境变量

vi /etc/profile

末尾加

export JAVA_HOME=/usr/loca/java/jdk1.8.0_201

export PATH=PATH:JAVA_HOME/bin

export CLASSPATH=.JAVA_HOME/lib/tools.jar:JAVA_HOME/lib/dt.jar:$CLASSPATH

source /etc/profile

java -version 查看版本

默认系统自带java,就不需要重新安装

相关推荐
未若君雅裁7 天前
日志采集与ELK:从本地日志到集中检索分析
运维·elk·jenkins
_codemonster7 天前
Prometheus + Grafana + Alertmanager和ELK 栈(Elasticsearch + Logstash + Kibana)
elk·grafana·prometheus
huisheng_qaq7 天前
【项目篇-01】Vmware虚拟机和环境安装配置
redis·mysql·canal·rocketmq·es·vaware虚拟机
Sean‘8 天前
在隔离内网机器上使用 Filebeat 全量采集日志并推送到 ELK 的实战
运维·服务器·elk
麦哲思科技任甲林8 天前
让AI帮我们写工作日志
人工智能·ai编程·日志
JAVA面经实录9178 天前
Elasticsearch 完整版完整知识体系
java·elasticsearch·搜索引擎·es
代码讲故事8 天前
在没有kibana的ES(elasticsearch)线上生产环境集群中,如何通过命令行修改或增加字段而不需要reindex?
大数据·elasticsearch·搜索引擎·命令行·es·索引·模版
天海华兮10 天前
MySQL知识点 覆盖索引、MVCC、存储引擎、事务锁、性能优化等核心点
mysql·事务·日志·索引·mvcc·存储引擎·执行计划
Michaelwubo11 天前
ELK案例
elk
YDS82913 天前
DeepSeek RAG&MCP + Agent智能体项目 —— 集成ELK日志管理系统和Prometheus监控系统
java·elk·ai·springboot·agent·prometheus·deepseek