ELK日志分析系统

日志服务器

提高安全性

集中存放日志

缺陷

对日子分析困难

日志分析步骤

将日志进行集中化管理

将日志格式化(Logstash)并输出到Elasticsearch

对格式化后的数据进行索引和存储(Elasticsearch)

前端数据的展示

Elasticsearch的概述

提供了一个分布式多用户能力的全文搜索引擎

Elasticsearch核心概念

接近实时

集群

节点

索引

索引(库)→类型(表)→文档(记录)

分片和副本

Logstash介绍

一款强大的数据处理工具

可实现数据传输、格式处理、格式化输出

数据输入、数据加工(如过滤,改写等)以及数据输出

LogStash主要组件

Shipper

Indexer

Broker

Search and Storage

Web Interface

Libana介绍

一个针对Elasticsearch的开源分析及可视化平台

搜索、查看存储在Elasticsearch索引中的数据

通过各种图表进行高级数据分析及展示

Kibana主要功能

Elasticsearch无缝之集成

整合数据,复杂数据分析

让更多团队成员受益

接口灵活,分享更容易

配置简单,可视化多数据源

简单数据导入

部署ELK

1.基础环境

|---|---|---|---|
| | | | |
| | | | |
| | | | |

关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

关闭内核安全机制

setenforce 0

sed -i

"S/ASELINUX=.*/SELINUX=disabled/g

/etc/selinux/config

修改主机名

hostnamectl set-hostname node2

hostnamectl set-hostname node1

hostnamectl set-hostname apache

2.在三台节点上配置host解析

cat >> /etc/hosts << EOF
192.168.27.152 node1
192.168.27.153 node2
192.168.27.154 apache
EOF

测试时间是否同步

#用date看日志是否与宿主机一致
date
#chronyc sources -v 如果有任何一条^*回显就是跟宿主机时间一致
chronyc sources -v

3.在node节点上

#安装依赖
yum -y install java-1.8.0-openjdk

上传rpm包(elasticsearch-5.5.0.rpm),执行安装

rpm -ivh elasticsearch-5.5.0.rpm

重启服务

systemctl daemon-reload
systemctl enable elasticsearch.service

4.在node1上编辑配置文件,并传入node2覆盖(也可修改node2的达成一致)

vi /etc/elasticsearch/elasticsearch.yml
/data/elk_data
/var/log/elasticsearch/

scp /etc/elasticsearch/elasticsearch.yml root@node2:/etc/elasticsearch/

传输完成后,打开配置文件,修改

vi /etc/elasticsearch/elasticsearch.yml

创建配置文件所需的目录文件,给予权限

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch -R /data/
systemctl start elasticsearch.service
ss -nlpt | grep 9200

5.查看集群健康状态信息

curl 192.168.27.153:9200
curl 192.168.27.153:9200/_cluster/health?pretty
#绿色为健康
#黄色为警告
#红色代表有错误

查看集群索引

curl 192.168.27.153:9200/_cat/indices?pretty

6.在第三台机器安装依赖包

yum -y install java-1.8.0-openjdk

上传软件包(logstash-5.5.1.rpm)

#安装启动
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

编辑配置文件的采集日志

vi /etc/logstash/conf.d/system.conf

input { 
  file{ 
    path =>"/var/log/messages" 
    type =>"system" 
    start_position =>"beginning" 
  } 
}
output { 
  elasticsearch { 
    hosts => ["192.168.27.152:9200"] 
    index =>"system-%{+YYYY.MM.dd}" 
  } 
}

保存退出,给予执行权限,重启服务

chmod +r /var/log/messages
systemctl restart logstash

在第一台查看健康,会有回显信息(采集成功)

curl 192.168.27.152:9200/_cat/indices?pretty

7.在第一台机器上传包(kibana-5.5.1-x86_64.rpm)

rpm -ivh kibana-5.5.1-x86_64.rpm
systemctl enable kibana.service
vi /etc/kibana/kibana.yml

调整配置文件

监听地址为当前节点的地址 开启服务,过滤端口号

浏览器搜素

创建节点,查看状态

8.安装网站

1.在apache节点安装并启动

yum -y install httpd
systemctl start httpd

2.在节点2模拟数据流量请求

for i in $(seq 1 10000);do curl 192.168.27.154 ;sleep 1;done

3.在apache节点,编写日志采集的文件

vi /etc/logstash/conf.d/apache_log.conf

input {
  file{ 
    path =>"/var/log/httpd/access_log"  
    type =>"access" 
    start_position =>"beginning" 
  }
  file {
    path =>"/var/log/httpd/error_log" 
    type =>"error" 
    start_position =>"beginning" 
  }
}

output {
  if [type] == "access" { 
    elasticsearch { 
      hosts => ["192.168.27.152:9200"] 
      index =>"apache_access-%{+YYYY.MM.dd}" 
    }
  }
  if [type] == "error" { 
    elasticsearch { 
      hosts => ["192.168.27.152:9200"]
      index =>"apache_error-%{+YYYY.MM.dd}"
    }
  }
}

4.给予权限,重启服务

chmod -R 777 /var/log/httpd
systemctl restart logstash

5.回到node1节点查看索引

6.浏览器添加apache和error的日志

在node1节点上配置model

浏览器验证

相关推荐
Shenqi Lotus20 小时前
ELK-ELK基本概念_ElasticSearch的配置
elk·elasticsearch
Amd79420 小时前
Nuxt.js 应用中的 build:error 事件钩子详解
日志·nuxt·错误·通知·构建·处理·钩子
weixin_438197383 天前
ELK实现前台单显示ip/host等日志信息
elk
陈震_3 天前
如何搭建 ELK【elasticsearch+logstash+kibana】日志分析系统
大数据·elk·elasticsearch
weixin_438197384 天前
nginx配置转发到elk的kibana的服务器
运维·服务器·nginx·elk
一颗知足的心4 天前
ELK之路第四步——整合!打通任督二脉
elk
一颗知足的心4 天前
ELK之路第三步——日志收集筛选logstash和filebeat
elk
weixin_438197384 天前
配置elk插件安全访问elk前台页面
运维·elk·jenkins
帅儿二郎4 天前
ELK:日志监控平台部署-基于elastic stack 8版本
linux·运维·elk·自动化运维·elastic·日志监控平台·日志分析平台