私有部署ELK,搭建自己的日志中心(一)-- 概述

一、说在前面的话

任何一家公司的开发和测试环境,都不可避免需要日志中心。

话不多说,我接下来将逐步梳理,如何在公司的研发环境下,搭建一套日志中心。

涉及到的组件有:

  • filebeat
  • kafka
  • logstash
  • elasticsearch
  • kibana
  • kafka ui

以采集jvm日志为示例,采集对象不外乎是以下两种:

  • 虚拟机
  • k8s Pod容器

市面上采集日志的技术层出不穷,但是我以为elk还是比较老牌,也足够稳定。

好处是:运维简单,使用门槛低。

二、文章顺序

1、搭建ELK

分别讲述组件logstash、es、kibana以及filebeat。示意图见下:

这一块内容是基础,我们为了篇幅不至于过长,把之拆分为多篇:

  • filebeat
  • logstash
  • ElasticSearch / kibana

2、采集部署在k8s容器里的jvm日志

讲述filebeat如何在k8s容器下,采集jvm日志。

于是,我们的方案演变如下:

3、引入消息中间件Kafka,削峰填谷

顺便,我们还搭建一个kafka的管理UI工具,以便于清晰地看到日志被采集上来的内容。

至此,我们的日志中心也就搭建完成,完全可以胜任你的生产采集需求。

4、日志中心的总结

最后一篇不出意外是我们本系统文章的总结。

相关推荐
shushangyun_1 小时前
2026智能采购商城系统选型指南:如何引领企业数字化采购升级
java·大数据·数据库·人工智能·机器学习
她说..1 小时前
Java 默认值设置方式
java·开发语言·后端·springboot
学渣超1 小时前
记一次分布式事务数据不一致的排查之旅:从超时到索引,层层剥茧
java·后端·架构
掉鱼的猫1 小时前
Agent Harness 实战指南:构建生产级 AI Agent 的"马具"框架
java·llm·aigc
带刺的坐椅2 小时前
Agent Harness 实战指南:构建生产级 AI Agent 的"马具"框架
java·ai·llm·agent·solon-ai
c238562 小时前
互斥锁高频面试题全解:从基础概念到底层实现,一文通关
java·c++·面试·职场和发展
error:(2 小时前
【系统与实战双精通】VS Code 调试 ROS2 Python 节点与 Launch 系统指南
android·java·python
Tian_Hang3 小时前
Eclipse Ditto 的权限策略
java·服务器·前端·网络·ide·ubuntu·eclipse
小蓝波3 小时前
docker 的命令
java·docker·容器
AI人工智能+电脑小能手4 小时前
【大白话说Java面试题 第155题】【06_Spring篇】第15题:Spring 如何解决循环依赖问题?
java·spring·循环依赖·三级缓存·aop代理