私有部署ELK,搭建自己的日志中心(一)-- 概述

一、说在前面的话

任何一家公司的开发和测试环境,都不可避免需要日志中心。

话不多说,我接下来将逐步梳理,如何在公司的研发环境下,搭建一套日志中心。

涉及到的组件有:

  • filebeat
  • kafka
  • logstash
  • elasticsearch
  • kibana
  • kafka ui

以采集jvm日志为示例,采集对象不外乎是以下两种:

  • 虚拟机
  • k8s Pod容器

市面上采集日志的技术层出不穷,但是我以为elk还是比较老牌,也足够稳定。

好处是:运维简单,使用门槛低。

二、文章顺序

1、搭建ELK

分别讲述组件logstash、es、kibana以及filebeat。示意图见下:

这一块内容是基础,我们为了篇幅不至于过长,把之拆分为多篇:

  • filebeat
  • logstash
  • ElasticSearch / kibana

2、采集部署在k8s容器里的jvm日志

讲述filebeat如何在k8s容器下,采集jvm日志。

于是,我们的方案演变如下:

3、引入消息中间件Kafka,削峰填谷

顺便,我们还搭建一个kafka的管理UI工具,以便于清晰地看到日志被采集上来的内容。

至此,我们的日志中心也就搭建完成,完全可以胜任你的生产采集需求。

4、日志中心的总结

最后一篇不出意外是我们本系统文章的总结。

相关推荐
面朝大海,春不暖,花不开几秒前
自定义Spring Boot Starter的全面指南
java·spring boot·后端
得过且过的勇者y1 分钟前
Java安全点safepoint
java
夜晚回家36 分钟前
「Java基本语法」代码格式与注释规范
java·开发语言
斯普信云原生组1 小时前
Docker构建自定义的镜像
java·spring cloud·docker
wangjinjin1801 小时前
使用 IntelliJ IDEA 安装通义灵码(TONGYI Lingma)插件,进行后端 Java Spring Boot 项目的用户用例生成及常见问题处理
java·spring boot·intellij-idea
wtg44521 小时前
使用 Rest-Assured 和 TestNG 进行购物车功能的 API 自动化测试
java
2201_761199041 小时前
k8s4部署
云原生·容器·kubernetes
慌ZHANG1 小时前
云原生技术驱动 IT 架构现代化转型:企业实践与落地策略全解
云原生
白宇横流学长1 小时前
基于SpringBoot实现的大创管理系统设计与实现【源码+文档】
java·spring boot·后端
fat house cat_2 小时前
【redis】线程IO模型
java·redis