私有部署ELK,搭建自己的日志中心(一)-- 概述

一、说在前面的话

任何一家公司的开发和测试环境,都不可避免需要日志中心。

话不多说,我接下来将逐步梳理,如何在公司的研发环境下,搭建一套日志中心。

涉及到的组件有:

  • filebeat
  • kafka
  • logstash
  • elasticsearch
  • kibana
  • kafka ui

以采集jvm日志为示例,采集对象不外乎是以下两种:

  • 虚拟机
  • k8s Pod容器

市面上采集日志的技术层出不穷,但是我以为elk还是比较老牌,也足够稳定。

好处是:运维简单,使用门槛低。

二、文章顺序

1、搭建ELK

分别讲述组件logstash、es、kibana以及filebeat。示意图见下:

这一块内容是基础,我们为了篇幅不至于过长,把之拆分为多篇:

  • filebeat
  • logstash
  • ElasticSearch / kibana

2、采集部署在k8s容器里的jvm日志

讲述filebeat如何在k8s容器下,采集jvm日志。

于是,我们的方案演变如下:

3、引入消息中间件Kafka,削峰填谷

顺便,我们还搭建一个kafka的管理UI工具,以便于清晰地看到日志被采集上来的内容。

至此,我们的日志中心也就搭建完成,完全可以胜任你的生产采集需求。

4、日志中心的总结

最后一篇不出意外是我们本系统文章的总结。

相关推荐
2601_9620715710 小时前
【Java报错已解决】org.springframework.beans.factory.BeanCreationException
java·开发语言
zww894911111 小时前
酒馆预约系统开发实战:从需求分析到上线全流程指南
java·eclipse
鹤落晴春11 小时前
有状态应用 vs 无状态应用
运维·云原生·k8s
mohesashou13 小时前
k8s的service
云原生·容器·kubernetes
zww894911114 小时前
匿名树洞系统开发实战:从需求分析到部署指南
java·eclipse
黑马程序员毕设15 小时前
基于Java的医院药品管理系统的优化设计与实现
java·开发语言·spring boot·小程序·架构·课程设计·毕设
木井巳15 小时前
【BFS/DFS 解决 FloodFill 算法】太平洋大西洋水流问题
java·算法·leetcode·深度优先·广度优先·宽度优先·推荐算法
白山编程大哥15 小时前
Java 集合算法:从排序、查找到底层原理的实战指南
java·python·算法
devpotato16 小时前
缓存与数据库更新顺序不一致问题
java·数据库·redis
阿里云云原生16 小时前
Agent 开发范式演进:在通用智能与业务深度之间寻找“正交”平衡点
云原生