AWS云上面的k8s统一日志收集(Fluent Bit+EKS+CW)

目标

k8s上面的常见的统一日志方案是EFK,具体如下:

  • E:elasticsearch;
  • F:fluentd;
  • K:kibana
    这里我们变成了使用fluentd的AWS替代品Fluent Bit,直接将日志输出到CloudWatch组。不需要E和K了。不过,这样仅仅用于AWS EKS。

步骤

给EC2 IAM角色CloudWatchAgentServerPolicy权限

给支撑运行EKS的EC2上面的IAM角色添加CloudWatchAgentServerPolicy策略。这里的角色名是AmazonEKSNodeRole。

创建amazon-cloudwatch命名空间

bash 复制代码
kubectl apply -f https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/daemonset/container-insights-monitoring/cloudwatch-namespace.yaml

创建cluster-info的ConfigMap

bash 复制代码
ClusterName=cluster-name
RegionName=cluster-region
FluentBitHttpPort='2020'
FluentBitReadFromHead='Off'
[[ ${FluentBitReadFromHead} = 'On' ]] && FluentBitReadFromTail='Off'|| FluentBitReadFromTail='On'
[[ -z ${FluentBitHttpPort} ]] && FluentBitHttpServer='Off' || FluentBitHttpServer='On'
kubectl create configmap fluent-bit-cluster-info \
--from-literal=cluster.name=${ClusterName} \
--from-literal=http.server=${FluentBitHttpServer} \
--from-literal=http.port=${FluentBitHttpPort} \
--from-literal=read.head=${FluentBitReadFromHead} \
--from-literal=read.tail=${FluentBitReadFromTail} \
--from-literal=logs.region=${RegionName} -n amazon-cloudwatch

其中,cluster-name表示集群名称;cluster-region表示云区。

创建fluent bit的daemonset

bash 复制代码
kubectl apply -f https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/daemonset/container-insights-monitoring/fluent-bit/fluent-bit.yaml

验证部署

bash 复制代码
kubectl get pods -n amazon-cloudwatch

应该能够查询出fluent-bit-*开头的pod,就表示部署fluent bit成功。然后,跑到CloudWatch页面看看是否存在/aws/containerinsights/*开头的相关日志组:

具体的SpringBoot服务的日志,在这个日志组下面:

bash 复制代码
/aws/containerinsights/uat/application

总结

这就是在AWS云上的k8s统一日志方案。和EFK方案很类似了。对业务服务SVC也是无侵入式的。

参考

相关推荐
ai_xiaogui19 小时前
宝塔FTP备份网站失败?21端口+被动端口39000-40000放行+阿里云安全组配置全攻略
阿里云·云计算·宝塔ftp被动端口放行·安全组21端口·宝塔备份下载中断解决·ftp主动模式连接不上·宝塔面板ftp配置教程
老百姓懂点AI1 天前
[云原生] K8s Operator开发实战:智能体来了(西南总部)AI调度官的CRD设计与Controller实现
人工智能·云原生·kubernetes
zhangfeng11331 天前
阿里云人工智能平台 PAI(Platform of Artificial Intelligence)训练大模型的几种方式
人工智能·阿里云·云计算
郏国上1 天前
如何在阿里云上建立Mongo DB数据库并且用Mongo DB Compass客户端连接数据库
数据库·阿里云·云计算
huizhixue-IT1 天前
收藏-Kubernetes怎么从私有仓库拉取镜像?(K8S系列)
云原生·容器·kubernetes
翼龙云_cloud2 天前
阿里云渠道商:如何利用弹性伸缩在业务低谷时自动缩减资源?
服务器·阿里云·云计算
yumenai_2 天前
【K8s 避坑指南】2026 最新 Kubernetes v1.28 + Containerd 安装全流程(内网/离线通用版)
ubuntu·云原生·容器·kubernetes·k8s
刘叨叨趣味运维2 天前
快速掌握K8s概念:云原生时代的操作系统
云原生·容器·kubernetes
亚林瓜子2 天前
AWS中国云中的ETL之从Amazon Glue Data Catalog搬数据到MySQL(Glue版)
python·mysql·spark·etl·aws·glue·py
rum552 天前
云计算中商业智能的挑战
云计算·响应时间·商业智能·roi·cloudsim