k8s filebeat 应用日志搜集

方案:

采用node上部署filebeat,并监控node上的日志记录,应用pod的日志文件它通过磁盘挂载将其输出到node的本地filbeat监控目录上。

实施:

filebeat使用daemonSet(见附录)进行构建:

【k8s】【ELK】【二】基于节点DaemonSet运行日志Agent实践_k8s elk daemonsets方案-CSDN博客

需要结合实际场景配置filebeat.yaml

附录:

daemonset与deployment的区别:

Kubernetes (K8S) 的 DaemonsetDeployment 是两种常用的控制器对象,它们在不同的场景下有不同的特点和用途。

  1. Deployment(部署):

    • 主要用于管理无状态的应用程序,如Web服务和API服务。
    • 通过ReplicaSet实现副本管理,确保指定数量的Pod副本正在运行,并处理Pod的创建、删除和更新。
    • 支持应用程序的复制、自动扩展、滚动升级等功能。
    • 使用Desired State来管理Pod的副本数量,并确保实际运行的Pod副本与期望状态保持一致。
  2. DaemonSet(守护进程集合):

    • 用于在Kubernetes集群的每个节点上运行一个Pod副本,确保每个节点上都有一个Pod的副本在运行。
    • 不关心副本数量,而是关注集群中的每个节点。
    • 当新节点加入集群时,DaemonSet会自动在新节点上创建Pod副本;当节点从集群中删除时,相应的Pod副本也会被删除。
    • 通常用于运行需要在每个节点上运行的系统级别服务,如日志收集器、监视代理和网络代理等。

总结来说,DaemonSet和Deployment的主要区别在于:

  • DaemonSet 只关心每个节点上的Pod副本数,而不管Pod的总数。
  • Deployment 更注重于管理Pod的副本数量以及Pod实例的健康状况,以满足应用程序的需求。

因此,DaemonSet适合那些需要在每个节点上都运行相同服务的场景,而Deployment则更适合那些需要动态调整Pod副本数的无状态应用和服务。

相关推荐
张忠琳6 小时前
【client-go v0.36.1】(store Part 3)Store 超深度分析 — 集成模式、完整数据流、不变量、与 DeltaFIFO 协作
云原生·kubernetes·informer·store·client-go
赵渝强老师9 小时前
【赵渝强老师】Kubernetes(K8s)中的金丝雀升级
linux·docker·云原生·容器·kubernetes
鹤落晴春9 小时前
【K8s】配置存储卷
云原生·容器·kubernetes
张忠琳11 小时前
【client-go v0.36.1】(DeltaFIFO Part 1)DeltaFIFO 超深度分析 — 模块定位、类结构、接口层次、构造与初始化
云原生·kubernetes·deltafifo·informer·client-go
原来是猿12 小时前
Docker 【 技术架构(1)】
docker·容器·架构
阿里云云原生12 小时前
实战揭秘:如何通过 AI Agent Skill 让 K8s 应用自动接入云监控?
云原生
ba_pi12 小时前
k8s删除pod
linux·容器·kubernetes
木雷坞12 小时前
Qdrant Docker 部署教程:数据卷、API Key 和集合初始化
运维·docker·容器·知识图谱
张忠琳14 小时前
【client-go v0.36.1】tools/cache 深度分析(下篇)— RealFIFO 深度、集成架构、生命周期、设计模式总结
云原生·kubernetes·cache·informer·client-go
张忠琳15 小时前
【client-go v0.36.1】(store Part 2)Store 超深度分析 — threadSafeMap 核心、索引体系、RV追踪、事务机制
云原生·kubernetes·informer·store·client-go