私有部署ELK,搭建自己的日志中心(一)-- 概述

一、说在前面的话

任何一家公司的开发和测试环境,都不可避免需要日志中心。

话不多说,我接下来将逐步梳理,如何在公司的研发环境下,搭建一套日志中心。

涉及到的组件有:

  • filebeat
  • kafka
  • logstash
  • elasticsearch
  • kibana
  • kafka ui

以采集jvm日志为示例,采集对象不外乎是以下两种:

  • 虚拟机
  • k8s Pod容器

市面上采集日志的技术层出不穷,但是我以为elk还是比较老牌,也足够稳定。

好处是:运维简单,使用门槛低。

二、文章顺序

1、搭建ELK

分别讲述组件logstash、es、kibana以及filebeat。示意图见下:

这一块内容是基础,我们为了篇幅不至于过长,把之拆分为多篇:

  • filebeat
  • logstash
  • ElasticSearch / kibana

2、采集部署在k8s容器里的jvm日志

讲述filebeat如何在k8s容器下,采集jvm日志。

于是,我们的方案演变如下:

3、引入消息中间件Kafka,削峰填谷

顺便,我们还搭建一个kafka的管理UI工具,以便于清晰地看到日志被采集上来的内容。

至此,我们的日志中心也就搭建完成,完全可以胜任你的生产采集需求。

4、日志中心的总结

最后一篇不出意外是我们本系统文章的总结。

相关推荐
蛋蛋的就会顺顺的24 分钟前
hot100 p0——栈,贪心算法,动态规划
java·前端·javascript·算法·leetcode·力扣
需要8261 小时前
Spring Bean 生命周期:从实例化到销毁的完整钩子
java·后端·spring
小 黄 鸡1 小时前
HashMap 面试必会知识点详解(JDK 8)
java·面试·职场和发展
伯恩bourne3 小时前
Spring Boot Bean 注册的两种方式:@Component 家族 vs @Configuration + @Bean
java·spring boot·后端
silvamux_3 小时前
curl 测试 OpenAI 兼容 API 的完整流程
java·人工智能·缓存·ai·oneapi
省钱兄--zs4 小时前
深圳24小时自助健身房软硬件解决方案实战指南与开发流程详解
java·数据仓库·spring boot·小程序·架构
顽疲4 小时前
Java vue 养老系统源码详解:月账单 care_month_bill 与 Quartz 扣费 Job 实践
java·开发语言·vue.js·vue养老·springboot养老·java养老
Wang's Blog4 小时前
Java 项目实战: 交友项目 - 安装开发工具与环境准备
java·开发语言·交友
用户21296835261684 小时前
开源了一个 Java 多智能体 LLM 框架 Baton:一个依赖,把 Agent 循环、工具调用、记忆、编排全配齐
java·llm
helmsail5 小时前
05 管理活动与选品
java