私有部署ELK,搭建自己的日志中心(一)-- 概述

一、说在前面的话

任何一家公司的开发和测试环境,都不可避免需要日志中心。

话不多说,我接下来将逐步梳理,如何在公司的研发环境下,搭建一套日志中心。

涉及到的组件有:

  • filebeat
  • kafka
  • logstash
  • elasticsearch
  • kibana
  • kafka ui

以采集jvm日志为示例,采集对象不外乎是以下两种:

  • 虚拟机
  • k8s Pod容器

市面上采集日志的技术层出不穷,但是我以为elk还是比较老牌,也足够稳定。

好处是:运维简单,使用门槛低。

二、文章顺序

1、搭建ELK

分别讲述组件logstash、es、kibana以及filebeat。示意图见下:

这一块内容是基础,我们为了篇幅不至于过长,把之拆分为多篇:

  • filebeat
  • logstash
  • ElasticSearch / kibana

2、采集部署在k8s容器里的jvm日志

讲述filebeat如何在k8s容器下,采集jvm日志。

于是,我们的方案演变如下:

3、引入消息中间件Kafka,削峰填谷

顺便,我们还搭建一个kafka的管理UI工具,以便于清晰地看到日志被采集上来的内容。

至此,我们的日志中心也就搭建完成,完全可以胜任你的生产采集需求。

4、日志中心的总结

最后一篇不出意外是我们本系统文章的总结。

相关推荐
前端工作日常3 小时前
我学习到的Java中domain和dto区别
java·后端
码农学院3 小时前
基于Spring Boot的跨境电商多语言订单管理系统架构设计
java·大数据·spring boot
Linux-18743 小时前
分布式链路追踪系统之skywalking java agent 的使用、skywalking web界面简介
云原生·skywalking·分布式链路追踪系统·应用程序性能监控·halo博客系统·skywalking java agent·skywalking web 简介
技术小结-李爽4 小时前
【工具】pom文件的<packaging>
java·maven
l156469484 小时前
突围!图文混合知识库难以解析,Kimi-K3 原生视觉架构深耕知识工作,DMXAPI 统一接口,缩短项目开发周期
java·大数据·开发语言
布吉岛的石头5 小时前
Java 程序员第 45 阶段11:网关统一路由大模型接口,配合 Nacos 配置治理,灰度路由:基于Nacos元数据实现大模型服务灰度发布与权重路由
java·服务发现
我命由我123456 小时前
Android 开发问题:Cannot resolve method ‘repeat‘ in ‘String‘
android·java·java-ee·android studio·android jetpack·android-studio·android runtime
baozhengw6 小时前
信创改造-SpringBootJar包改为WAR包部署Tomcat
java·tomcat
M1A17 小时前
基于 Spring AOP 构建系统操作日志:从注解设计到异步落库的完整实战
java
RainCity7 小时前
Java Swing 自定义组件库分享(十五)
java·笔记·后端