ES+FileBeat+Kibana日志采集搭建体验

1.环境准备

需要linux操作系统,并安装了docker环境

此处使用虚拟机演示。(虚拟机和docker看参考我之前写的文章)

VirtualBox安装Oracle Linux 7.9全流程-CSDN博客

VirtualBox上的Oracle Linux虚拟机安装Docker全流程-CSDN博客

简单演示搭建ES+FileBeat+Kibana进行日志采集、上报、展示、搜索流程。

2.创建elk网络

docker network create elk

3.docker拉取并启动ES

docker run -d \

--name=elasticsearch \

-v es-data:/usr/share/elasticsearch/data \

-e ES_JAVA_OPTS="-Xms256m -Xmx512m" \

-e "discovery.type=single-node" \

-e "xpack.security.enabled=false" \

--net elk \

-p 9200:9200 -p 9300:9300 \

docker.elastic.co/elasticsearch/elasticsearch:8.6.2

镜像比较大,执行需要耐心等待下。

Elasticsearch容器启动成功。

访问http://192.168.56.103:9200 显示如下

4.docker拉取并启动kibana

docker run -d \

--name=kibana \

-e ELASTICSEARCH_HOSTS=http://elasticsearch:9200 \

-e I18N_LOCALE=zh-CN \

--net elk \

-p 5601:5601 \

docker.elastic.co/kibana/kibana:8.6.2
kibana容器启动成功

#查看运行的容器

docker ps -a

#观察kibana容器日志输出

docker logs kibana --tail 20 -f

访问http://192.168.56.103:5601

5.安装filebeat日志采集

5.1 安装filebeat

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.6.2-x86_64.rpm

rpm -ivh filebeat-8.6.2-x86_64.rpm

5.2 修改filebeat配置

cd /etc/filebeat

mv filebeat.yml filebeat.yml.bak

vim filebeat.yml

添加如下:
filebeat.inputs:

  • type: log

enabled: true

paths:

  • /var/log/*log

  • /var/log/messages

setup.ilm.enabled: false

setup.template.name: "test"

setup.template.pattern: "test-*"

output.elasticsearch:

hosts: "http://localhost:9200"

index: "test-%{+yyyy.MM.dd}"

5.3启动filebeat

#测试配置是否正确

filebeat test config


#测试一下 Filebeat 和 Elasticsearch 是否连接成功


#设置初始环境

filebeat setup -e

#启动filebeat

systemctl start filebeat

#查看filebeat的日志

tail -20f /var/log/messages

6.kibana配置数据视图及展示搜索日志

最终能看到日志已经加载到ES上了,在kibana上的效果如下:

这些匹配的规则文件都会被上报到es中

/var/log/*log #这个是符合log后缀的文件

/var/log/messages #这个是filebeat的日志文件

相关推荐
天远Date Lab20 分钟前
零信任架构实战:基于天远风控经营异常预警构建自动化商业园区租户巡检网关
大数据·人工智能·架构·自动化
计算机编程指导师1 小时前
计算机毕设怎么做?基于Hadoop+Spark的商场商铺数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·商场商铺
Q26433650231 小时前
【有源码】基于Hadoop+Spark的低能见度易雾站点识别与可视化分析系统-面向气象保障的低能见度监测数据挖掘与风险画像系统
大数据·hadoop·数据挖掘·spark·毕业设计·课程设计·数据可视化
Wx-bishekaifayuan1 小时前
springboot大学生就业平台47691-计算机课程设计、毕业设计
java·spring boot·后端·elasticsearch·课程设计·express·旅游
鱼宵1 小时前
LangChain4j RAG 流水线:手写问答全流程,给 AI 开卷考试
大数据·人工智能·机器学习·langchain4j
蝶依斓(湖南)全案整装1 小时前
整装企业环保健康交付内容写作方法:空气健康、环保材料与检测标准的非空泛表达
大数据·人工智能
计算机编程指导师2 小时前
【大数据毕设】基于Hadoop+Django乳腺癌数据分析与可视化系统选题推荐 源码 毕业设计 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·毕业设计·课程设计·乳腺癌
计算机编程指导师2 小时前
Python毕设怎么做?基于hadoop的商家优惠券营销效果数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·优惠券
吴声子夜歌2 小时前
Docker入门与实战——实战案例(分布式处理与大数据平台)
大数据·分布式·docker
计算机编程指导师2 小时前
【Python毕设推荐】基于Hadoop+Spark的商场商铺运行数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·spark·课程设计·商场商铺