ELK日志系统
一、ELS
1、ELS概念
ELK：是一套完整的日志集中处理方案
E：ElasticSearch ES 分布式索引型非关系数据库 作用：存储logstash输出的日志 全文检索引擎 保存的格式是json格式
L：Logstash 基于java语言开发，作用：数据收集引擎。日志的收集，可以对数据进行过滤、分析、汇总，以标准格式输出。
K：Kiabana 是ElasticSearch的可视化工具，对ES存储的数据进行可视化展示、分析和检索
优点：日志集中管理
ELK F K
F：filebeat 轻量级的开源日志文件数据搜集器，logstash 占用系统资源比较大，属于重量级，有了filebeat可以节省资源，可以通过filebeat好logstash实现远程数据收集，但是filebeat不能对数据进行标准输出，不能输出为es格式的数据，所以需要logstash把filebeat数据做标准化处理
K：kafka 消息队列
2、ELK的工作原理
2.1 在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。
2.2 Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。
2.3 Elasticsearch 对格式化后的数据进行索引和存储。
2.4 Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。
总结：logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理。
二、搭建ELK架构
1、安装ELK
192.168.100.11 logstash kibana nginx/http 4/8G
192.168.100.12 es1 2/4G
192.168.100.13 es2 2/4G
一、# test1-1、test1-2、test1-3
systemctl stop firewalld
setenforce 0
yum -y install ntpdate
ntpdate ntp.aliyun.com
date
二、# test1-2 test1-3
1、环境准备
# 设置java环境
yum -y install java
java -version
2、部署 Elasticsearch 软件
（1）#安装elasticsearch---rpm包
cd /opt # 拖elasticsearch-6.7.2.rpm包
rpm -ivh elasticsearch-6.7.2.rpm
（2）#修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
set nu
17 取消注释，指定集群名字 cluster.name: my-elk-cluster
23 取消注释，指定节点名字 Node1节点为node1，Node2节点为node2 #noder1为test1-1的，node2为test1-2的
33 取消注释，指定数据存放路径 path.data: /var/lib/elasticsearch
37 取消注释，指定日志存放路径 path.logs: /var/log/elasticsearch
43 # 保持注释，禁止使用打开空间。取消注释的话，为了避免es使用swap交换分区，bootstrap.memory_lock: true
55 取消注释，设置监听地址，0.0.0.0代表所有地址 network.host: 0.0.0.0
59 取消注释 ELS的默认端口为9200
23行下增加
node.master: true false # test1-1的为true test1-2的为false
node.data: true # test1-1和test1-2的均为true
60行下增加
transport.tcp.port: 9300 # es集群内部通信的端口
73 取消注释 discovery.zen.ping.unicast.hosts: ["192.168.100.12 9300","192.168.100.13 9300"] # 冒号后改为上述冒号后内容
wq!
grep -v "^#" /etc/elasticsearch/elasticsearch.yml # 检查非#以外的配置文件内容
（3）启动elasticsearch，查看是否成功开启
systemctl restart elasticsearch.service
systemctl enable elasticsearch.service
netstat -antp | grep 9200
（4）查看节点信息
浏览器访问 http://192.168.100.12:9200 和 http://192.168.100.13:9200
查看Node1、和Node2的信息
浏览器访问 http://192.168.233.12:9200/_cluster/health?pretty 、 http://192.168.233.13:9200/_cluster/health?pretty查看群集的健康情况，可以看到 status 值为 green（绿色），表示节点健康运行
#使用上述方式查看群集的状态对用户并不友好，可以通过安装 Elasticsearch-head 插件，可以更方便地管理群集。
3、安装 Elasticsearch-head 插件
yum install gcc gcc-c++ make -y # 部署安装环境，node和phantomjs基于java环境运行
（1）编译安装node
cd /opt # 把node-v8.2.1.tar.gz拖进去
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make -j 2 && make install
（2）安装 phantomjs
cd /opt # 把 phantomjs-2.1.1-linux-x86_64.tar.bz2拖进去
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd /opt/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
（3）安装 Elasticsearch-head 数据可视化工具
cd /opt # 把 elasticsearch-head-master.zip拖进去
unzip elasticsearch-head-master.zip
cd elastic??
cd elasticsearch-head-master/
npm config set registry http://registry.npm.taobao.org/ # 指定为淘宝镜像
npm install # 安装依赖包
（4）修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
--在末尾行添加一下内容--
http.cors.enabled: true # 开启跨域访问支持，默认为false
http.cors.allow-origin: "*" # 允许跨域访问的域名地址为所有地址
wq!
systemctl restart elasticsearch
netstat -antp | grep 9200
（5）启动 elasticsearch-head 服务
cd /opt/elasticsearch-head-maste
npm run start &
# 会出现很长一串，最后是9100，表示elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100
（6）通过 Elasticsearch-head 查看 Elasticsearch 信息
浏览器访问192.168.100.12:9100和192.168.100.13:9100 把localhost换成ip地址，集群健康值显示为绿色表示成功
(7)插入索引
curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
三、# test1-1
1、ELK Logstash部署
（1）安装Apahce服务（httpd）
yum -y install httpd
systemctl start httpd
（2）安装Java环境
yum -y install java
java -version
（3）安装logstash
cd /opt # 把 logstash-6.7.2.rpm 拖进去
rpm -ivh logstash-6.7.2.rpm
systemctl start logstash.service
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
# logstash的默认工作目录为：/etc/logstash/conf.d 在配置文件中为path.config: /opt/log，也可以指定logstash的工作目录，在配置文件中修改
（4）测试 Logstash
logstash -e 'input { stdin{} } output { stdout{} }'
# 出现很大一长串，只要结尾出现Successfully和端口9600即成功，可以在里面输入
# www.baidu.com
# www.sina.com.cn
# www.google.com
## 实例通过正常，ctrl+z结束
（5）修改Logstash到Elasticsearch模块
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.100.12:9200","192.168.100.13:9200"] } }' --path.data /opt/test1
## 出现很大一长串，只要结尾出现Successfully和端口代表成功
# www.baidu.com
# www.sina.com.cn
# www.google.com
## 此时没有标准输出的实例，实例到Elasticsearch模块
（6）
回到浏览器访问的页面，刷新，出现Logstash-2024.08.01模块
2、创建日志收集系统
test1-1
cd /etc/logstash/conf.d # cond.d工作目录
vim system.conf
input {
file{
path =>"/var/log/messages"
type =>"system"
start_position =>"beginning"
# 从结尾开始end
}
}
output {
elasticsearch {
hosts =>["192.168.100.12:9200","192.168.100.13:9200"]
index =>"system-%{+YYYY.MM.dd}"
}
}
wq!
cat system.conf
chmod 777 /var/log/messages
logstash -f system.conf --path.data /opt/test2 &
# 后台运行回车即可
3、安装kibana
test1-1
cd /opt # 拖包
rpm -ivh kibana-6.7.2-x86_64.rpm
vim /etc
2 取消注释
7 localhost改0.0.0.0
28 取消注释 elasticsearch.hosts: ["http://192.168.100.12:9200","192.168.100.13:9200"]
96 取消注释 日志路径 logging.dest: stdout改logging.dest: /var/log/kibana.log
113 取消注释 i18n.locale: "en"改为i18n.locale: "zh-CN" 表示使用中文
37 取消注释 打开索引名称
wq!
touch /var/log/kibana.log
chown kibana.kibana /var/log/kibana.log
systemcl restart kibana
systemcl enable kibana
netstat -antp | grep 5601
页面访问192.168.100.11:5601
管理------索引管理------索引模式------创建索引------输入"system-*"------下一步------字段选择"@timestamp"------创建索引模式------点击左栏中的"discover"可查看日志信息
2、补充内容
node：基于谷歌浏览器的运行环境
phantmjs：虚拟浏览器
es-head-master：es的独立可视化工具，可以实现分片索引数据的可视化展示
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.100.12:9200","192.168.100.13:9200"] } }'
1、es的主从和数据模式
node.master:true：es数据库的主从类型，主是true，非主就是false
es如何创建、修改、删除数据、数据管理？
通过http的方式
post方式修改数据
创建数据命令
curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
localhost:9200：对应的就是本地数据库的地址，可以是ip+端口
index-demo ：创建索引分片的名称
test ：数据的名称
1 ：数据的id字段
？pretty&pretty ：参数设定为json格式
-d ：后面跟数据的具体内容
'{"user":"zhangsan","mesg":"hello world"}' ：表示真正的数据内容
修改数据命令
curl -X POST 'localhost:9200/index-demo/test/1/_update?pretty' -H 'Content-Type: application/json' -d '{"doc": {"user": "zhangsan","mesg":"hello1 world1"} }'
删除数据命令
curl -X DELETE 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello1 world1"}'
3、收集业务日志
# test1-1
cd /etc/logstash/conf.d
vim http.conf
input {
file {
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file {
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.100.12:9200","192.168.100.13:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.100.12:9100","192.168.100.13:9100"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}
logstash -f http.conf --path.data /opt/test数字 & # 可以查看一下/opt目录，创建一个没有的test数字
API接口：软件内部代码之间通信的接口，代码的连接，代码之间的内部端口
端口是对外提供访问程序的内容结构
4、filebeat收集业务日志
nginx1 192.168.100.10
# nginx1
1、关闭防火墙和访问nginx
systemctl restart nginx
systemctl stop firewalld
setenforce 0
curl 192.168.100.10
2、安装filebea软件
cd /opt # 拖包filebeat-6.7.2-linux-x86_64.tar.gz
tar -xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat
cd /usr/local/filebeat
cp filebeat.yml filebeat.yml.bak
3、修改filebea.yml配置文件
vim filebeat.yml
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
- /var/log/nginx/error.log
#开启日志收集，以及确定日志文本的路径
#指定标签和发送到目标主机的logstash
tags: ["nginx"]
fielsd:
service_name:192.168.100.10_nginx
log_type:nginx
from:192.168.100.10
一直往下
#output.elasticsearch:
#Array of hosts to connect to.
#hosts: ["localhost:9200"]
output.logstash:
# The Logstash hosts
hosts: ["192.168.100.11:5055"]
#5044是logstash默认的端口，只要是logstash主机上没有被占用的端口都可以，netstat -antp | grep 5055 查看一下
wq!
# test1-1
cd /etc/logstash/conf.d
vim nginx_10.conf
input {
beats { port => "5045"}
}
output {
if "nginx" in [tags] {
elasticsearch {
hosts => ["192.168.100.12:9200","192.168.100.13:9200"]
index =>"%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
}
wq!
先开启filebeat，开启logstash！
# nginx1
cd /usr/local/filebeat
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
------------------------------------------------------------------------------------------------------------
-e 输出到标准输出
-c 指定配置文件
nohup 在系统的后台运行，不会因为终端的关闭导致程序停止运行
可以把运行的日志保存到指定文件
# test1-1
logstash -f http.conf --path.data /opt/test数字 & # 创建一个/opt下没有的
filebeat作用：
1、可以在本机收集日志
2、也可以远程收集日志
3、轻量级的日志收集系统，可以在非java环境运行
logstash是在jvm环境中运行，资源消耗很大，启动一个logstash要消耗500M左右的内存，filebeat只消耗10M左右的内存
7、实验：在mysql上yum安装httpd和nginx、filebeat
mysql1-7 192.168.100.17
# mysql1-7
systemctl stop firewalld
setenforce 0
vim /etc/my.cnf
# 开启mysql二进制文件
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log
wq!
systemctl restart mysqld
修改nginx或httpd的端口
curl 192.168.100.17:85 # 测试httpd访问，端口修改为85
curl 192.168.100.17 # 测试nginx访问
mysql -u root -p123456 # 测试mysqld访问
cd /opt # 把filebeat-6.7.2-linux-x86_64.tar.gz的包拖进去
tar -xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat
cd /usr/local/filebeat
cp filebeat.yml filebeat.yml.bak
修改filebeat.yml配置文件
vim filebeat.yml
- type: log
enabled: true
paths:
- /etc/httpd/logs/access_log
- /etc/httpd/logs/error_log
tags: ["httpd"]
fielsd:
service_name:192.168.100.17_httpd
log_type:httpd
from:192.168.100.17
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
- /var/log/nginx/error.log
tags: ["nginx"]
fielsd:
service_name:192.168.100.17_nginx
log_type:nginx
from:192.168.100.17
- type: log
enabled: true
paths:
- /usr/local/mysql/data/mysql_general.log
tags: ["mysqld"]
fielsd:
service_name:192.168.100.17_mysqld
log_type:mysqld
from:192.168.100.17
一直往下
output.elasticsearch: # 注释 #output.elasticsearch:
#Array of hosts to connect to.
hosts: ["localhost:9200"] # 注释 #hosts: ["localhost:9200"]
#output.logstash: # 取消注释 output.logstash:
# The Logstash hosts
#hosts: ["localhost:5044"] # 取消注释 hosts: ["192.168.100.11:5055"]
#5044是logstash默认的端口，只要是logstash主机上没有被占用的端口都可以，netstat -antp | grep 5055 查看一下
wq!
# test1-1
cd /etc/logstash/conf.d
vim hnm.conf #注意需要以.conf为结尾
input {
beats { port => "5055"}
}
output {
if "httpd" in [tags] {
elasticsearch {
hosts => ["192.168.100.12:9200","192.168.100.13:9200"]
index =>"%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
if "nginx" in [tags] {
elasticsearch {
hosts => ["192.168.100.12:9200","192.168.100.13:9200"]
index =>"%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
if "mysqld" in [tags] {
elasticsearch {
hosts => ["192.168.100.12:9200","192.168.100.13:9200"]
index =>"%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
}
wq!
# mysql1-7
cd /usr/local/filebeat
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
# test1-1
logstash -f hnm.conf --path.data /opt/test数字 &
# mysql1-7
tail -f filebeat.out
浏览器访问192.168.100.12:9100 和 192.168.100.12:9100。刷新，出现192.168.100.17_httpd-当前日期、192.168.100.17_nginx-当前日期、192.168.100.17_mysqld-当前日期
# kibana
http://192.168.100.11:5601/
管理--索引模式--创建索引模式--索引模式--下一步--@timestamp--创建索引模式--discovery--访问httpd或者nginx或者mysqld:日志更新