ELK安装、部署、调试(一)设计规划及准备

一、整体规划如图:

【filebeat】

需要收集日志的服务器,安装filebeat软件,用于收集日志。logstash也可以收集日志,但是占用的系统资源过大,所以使用了filebeat来收集日志。

【kafka】

接收filebeat的日志,进行队列及缓存,kafka使用集群的方式搭建,避免了filebeat直接向logstash传送的拥塞及日志丢失。

【logstash】

主动抓取kafka的日志信息,对日志进行过滤,分析,处理等操作。

【elasticsearch】

简称es,存储logstash处理过的日志信息,采用集群的方式搭建。

【kibana】

图形化的方式展示es的数据信息。

二、IP地址及服务器规划

filebeat :10.10.10.56 /usr/local/filebeat

kafka集群:10.10.10.71-73 /usr/local/kafka

zookeeper集群:10.10.10.71-73 /usr/local/zookeeper

logstash:10.10.10.74 /usr/local/logstash

es集群:10.10.10.65-67 /usr/local/elasticsearch

kibana:10.10.10.65 /usr/local/kinan

kibana中文:10.10.10.66 /usr/local/kibana

三、java的安装

所有服务器均需要安装java的环境

centos 7.9默认已安装java 1.8_242所以不需要再次安装java了

下/载java

tar -zxvf java**.gz -C /usr/local

设置java环境变量

vi /etc/profile

末尾加

export JAVA_HOME=/usr/loca/java/jdk1.8.0_201

export PATH=PATH:JAVA_HOME/bin

export CLASSPATH=.JAVA_HOME/lib/tools.jar:JAVA_HOME/lib/dt.jar:$CLASSPATH

source /etc/profile

java -version 查看版本

默认系统自带java,就不需要重新安装

相关推荐
倒流时光三十年3 小时前
第二阶段 17 · multi_match 多字段匹配
es
倒流时光三十年7 小时前
第三阶段 23 · 嵌套与子聚合 / top_hits
es
倒流时光三十年7 小时前
第二阶段 19 · _source 字段裁剪
es
倒流时光三十年2 天前
第二阶段 15 · prefix / wildcard / fuzzy 模糊匹配
es
粗体鱼2 天前
RAG/Agent 记忆混合检索多路召回:RRF 算法与Chunk RRF、Document RRF如何决策TopK
postgresql·milvus·es·rag·rff·mermory
阿标在干嘛4 天前
政策快报平台日志系统的3次演进:从文件到ELK到告警
运维·elk·jenkins
AAA@峥10 天前
CentOS7 搭建 ELK 企业级日志集群:从部署到日志可视化完整实战
运维·elk·centos
.柒宇.11 天前
ELK日志分析系统实战指南:Elasticsearch搭建与入门(8.18.8版本)
运维·elk·elasticsearch·logback·日志系统
java_logo12 天前
ELK Docker Compose 部署指南:轻松搭建日志检索平台
elk·elasticsearch·docker·容器·kibana·logstash·轩辕镜像
会周易的程序员25 天前
使用 pybind11 封装 C++ 日志库 microLog 为 Python 模块
java·c++·python·物联网·架构·日志·aiot