ELK 日志分析(二)

一、ELK Kibana 部署

1.1 安装Kibana软件包

#上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm

1.2 设置 Kibana 的主配置文件

vim /etc/kibana/kibana.yml
--2--取消注释,Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释,设置 Kiabana 的监听地址,0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释,设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.133.10:9200" 
--30--取消注释,设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

1.3 启动 Kibana 服务

systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601

1.4 验证 Kibana

第一次登录需要添加一个 Elasticsearch 索引:

Index name or pattern 里输入:system-* #在索引名中输入之前配置的 Output 前缀"system"

单击 "create" 按钮创建,单击 "Discover" 按钮可查看图表信息及日志信息。

1.5 将 Apache 服务器日志添加到 Elasticsearch 并通过 Kibana 显示

vim /etc/logstash/conf.d/apache_log.conf
input {
    file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}
output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.10.13:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
    if [type] == "error" {
        elasticsearch {
            hosts => ["192.168.10.13:9200"]
            index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}

cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf

二、Filebeat+ELK

2.1 简介

Filebeat是一款轻量级的日志收集工具,可以在非JAVA环境下运行。

因此,Filebeat常被用在非JAVAf的服务器上用于替代Logstash,收集日志信息。实际上,Filebeat几乎可以起到与Logstash相同的作用,可以将数据转发到Logstash、Redis或者是Elasticsearch中进行直接处理。

2.2 使用Filebeat的原因

logstash就需要消耗500M左右的内存,而filebeat只需要10M左右的内存资源。

常用的ELK日志采集方案中,大部分的做法就是将所有节点的日志内容通过filebeat发送到logstash,lostash根据配置文件进行过滤,然后将过滤之后的文件传输到elasticsearch中,最后通过kibana展示。

2.3 好处

Filebeat结合logstash中,Filebeat负责收集日志,logstash负责过滤。

(1)通过logstash,具有基于磁盘的自适应缓冲系统,该系统将吸收传入的吞吐量,从而减轻Elasticsearch持续写入数据的压力。

(2)从其它数据源(例如数据库,s3对象存储或消息传递队列)中提取

(3)将数据发送到多个目的地,例如S3,HDFS(hadoop分部署文件系统)或写入文件

(4)使用数据流逻辑组成更复杂的处理管道。

相关推荐
追梦不止~5 分钟前
Docker常用命令+详解
运维·docker·容器
黑龙江亿林等保9 分钟前
深入探索哈尔滨二级等保下的负载均衡SLB及其核心算法
运维·算法·负载均衡
黄小耶@10 分钟前
linux常见命令
linux·运维·服务器
叫我龙翔11 分钟前
【计网】实现reactor反应堆模型 --- 框架搭建
linux·运维·网络
古驿幽情13 分钟前
CentOS AppStream 8 手动更新 yum源
linux·运维·centos·yum
BillKu14 分钟前
Linux(CentOS)安装 Nginx
linux·运维·nginx·centos
BillKu17 分钟前
Linux(CentOS)yum update -y 事故
linux·运维·centos
a2663789622 分钟前
解决yum命令报错“Could not resolve host: mirrorlist.centos.org
linux·运维·centos
上海文顺负载箱36 分钟前
如何评估焊机测试负载均衡性能
运维·负载均衡
铁锤妹妹头发多2 小时前
新手用docker真**难受
运维·docker·容器