日志分析系统ELK
项目架构图
Logstash 是一个开源的、服务器端的数据收集引擎，与 Elasticsearch 和 Kibana 一起构成了 Elastic Stack（之前称为 ELK Stack）。Logstash 的主要功能是处理和转发数据，它可以从多种数据源收集数据，经过过滤和转换，然后将数据发送到 Elasticsearch 进行索引和存储，最后通过 Kibana 进行数据可视化。
安装 logstash
|----------|--------------|----------|
| logstash | 192.168.1.27 | 最低配置4核8G |
dnf install -y logstash 安装
ln -s /etc/logstash /usr/share/logstash/config 创建软链接
/usr/share/logstash/bin/logstash-plugin list 查询logstash安装的插件
- 插件手册地址:[Logstash Reference [8.14] | Elastic]
input 模块
file 插件
filter 模块
grok 插件
正则表达式分组匹配格式: (?<名字>正则表达式)
正则表达式宏调用格式: %{宏名称:名字}
宏文件路径 : /usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.3.4/patterns
output 模块
elasticsearch 插件
Web 日志实时分析
beats 插件
filebeat 安装配置
多日志标签
添加标签
匹配标签
数据调试成功以后，可以把 logstash 作为后台服务运行
批量安装部署filebeat
验证日志收集
kibana 安装部署
负载均行上监听5601 Elastic
