通过es+ Kibana+ LogStash收集日志

架构

服务产生的日志,通过logstash收集到es中,并通过kibana展示出来,这里不再介绍三者的作用

部署es+Kibana

这三个的版本尽量要保持一致,我使用的是7.13.4

通过docker部署es

命令:

bash 复制代码
docker run --name elasticsearch -d -e ES_JAVA_OPTS="-Xms1024m -Xmx1024m" /
 -e "discovery.type=single-node" -p 9200:9200 -p 9300:9300 docker镜像

参数解释

-e ES_JAVA_OPTS="-Xms1024m -Xmx1024m" 限制内存大小,es比较吃内存,这里建议可以设置大一点

-e "discovery.type=single-node" 以单节点启动

-p 将端口映射出来

elasticsearch的9200端口是供外部访问使用;9300端口是供内部访问使用集群间通讯

docker部署kibana
bash 复制代码
docker run -d --name kibana  -e ELASTICSEARCH_HOSTS=es服务ip:端口 / -p 5601:5601 docker镜像

启动之后,如果需要可以配置一下这里面的用户,具体可以自己查询

部署logstash

这个是部署在你项目服务器上的,用于采集项目运行时产生的日志

bash 复制代码
wget https://artifacts.elastic.co/downloads/logstash/logstash-对应版本-linux-x86_64.tar.gz 

解压到你想在的目录下

tar -zxvf 压缩包

解压完进入logstash/config目录配置日志的输入源和输出位置

vim 你想要的名字.conf

conf 复制代码
#添加配置文件
input {
   # 从文件读取日志信息 输送到控制台
   file {
   # 日志文件目录
       path => "/home/shuxue/service/shuxueservice/web_app.log"
       codec => "json" ## 以JSON格式读取日志
       type => "elasticsearch"
       # 从头开始输出
       start_position => "beginning"
   }
}

# filter {
#
# }

output {
   # 标准输出
   # stdout {}
   # 输出进行格式化,如果不想在控制台输出,就把下面这一行注掉
   # stdout { codec => rubydebug }
        elasticsearch {
       hosts => ["es服务地址:9200"]
       index => "es索引"
   }
}

然后启动logstash,今日logstash/bin目录

bash 复制代码
./logstash -f ../config/上面的文件名.conf

这个时候访问kibana就能看到创建出来的索引了

但是这个时候你在ctrl+c的时候会退出,这个时候可以使用systemd让他常驻后台就可以了。

相关推荐
大大大大晴天4 小时前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云4 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏6 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
岳涛6 小时前
考古|ES 0.90 的 _ttl 让文档到期自动删,2.0 起引擎只做引擎,5.0 清掉内置字段
elasticsearch
Aloudata6 小时前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
wuyk5556 小时前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
躺柒7 小时前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
岳涛8 小时前
时序|ES 9.1 存下写坏的文档,响应码从 400 变成 201,写入端仍当它成功
elasticsearch
回眸&啤酒鸭9 小时前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
伞伞悦读9 小时前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习