ELK分布式日志系统

日志管理方案：

ELK组件

ElasticSearch索引管理

[logstash filter模块常用的插件](#logstash filter模块常用的插件)

日志管理方案：

服务器数量较少时：

直接登录到目标服务器捞日志查看 --> 通过 rsyslog 或 shell/python 等脚本实现日志收集，并集中保存到统一的日志服务器

服务器数量较多时：

ELK 大型的日志系统，实现日志收集、日志存储、日志检索和分析

云原生容器环境：

EFK Loki+Granfana SLS（阿里云）

ELK组件

Logstash 采集日志数据，通过插件模块对数据进行过滤、格式化处理，再输出给ElasticSearch

ElasticSearch 对日志数据进行分片、存储，并创建索引，方便全文检索

集群化部署，节点分三种类型：master/data/client，设置相同的cluster.name并使用Zen Discovery模块通过单播实现集群中节点的服务发现

Kibana 接入ElasticSearch的数据源，将日志数据进行图形化展示，方便用户通过浏览器查看、统计、分析日志

Filebeat 替代Logstash采集日志数据

Fluentd 替代Logstash采集日志数据和过滤转换等功能，常用于K8S容器环境

Kafka/Redis 作为MQ消息队列，实现流量削峰、缓冲

ELK -> ELFK（ELK + Filebeat） -> EFLFK（ELK + Filebeat + Kafka）

ElasticSearch索引管理

1）命令行管理方式

创建索引

curl -X PUT $\|POST$ http://IP:9200/\<索引名> $/\<类型\>/\<文档ID\>?pretty\&pretty$ \

-H 'content-Type: application/json' -d '{"键名1":"键值","键名2":"键值"}'

删除索引

curl -X DELETE http://IP:9200/\<索引名> $,\<索引名2\>,....$

查看索引配置

curl -X GET http://IP:9200/\<索引名>/_settings

修改索引配置

curl -X PUT http://IP:9200/\<索引名>/_settings \

-H 'content-Type: application/json' -d '{"键名":"键值"}'

创建索引别名

curl -X POST http://IP:9200/_aliases \

-H 'content-Type: application/json' -d '{"actions": ${"add":{"index":"索引名","alias":"索引别名"}}$ }'

删除索引别名

curl -X POST http://IP:9200/_aliases \

-H 'content-Type: application/json' -d '{"actions": ${"remove":{"index":"索引名","alias":"索引别名"}}$ }'

2）kibana接入ES，在管理界面中进行图形化索引管理

logstash filter模块常用的插件

grok：将大文本字段分片成若干个小字段

内置正则匹配格式：%{内置正则表达式:自定义的小字段名称}

自定义正则匹配格式：(?<自定义的小字段名称>自定义的正则表达式)

multiline：将多行日志内容合并成一整行

pattern（通过正则表达式匹配行）

negate（false|true，是否取反。false不取反，表示正则匹配的行做合并操作；

true取反，表示正则不匹配的行做合并操作）

what（previous|next，previous表示向上合并，next表示向下合并）

mutate：对logstash收集的日志事件字段进行格式化处理（包括重名名字段名、增加字段、删除字段、替换字段的值、修改字段值的字符串、数据类型等）

rename、add_field、remove_field、replace、update、gsub、convert

date：将logstash收集的日志事件时间 @timestamp 与日志实际的打印时间进行格式统一需要先配置grok插件获取日志时间的小字段，再用match匹配日志时间字段的时间格式，最后用target导出到指定字段，默认为 @timestamp 。