AWS云上面的k8s统一日志收集(Fluent Bit+EKS+CW)

目标

k8s上面的常见的统一日志方案是EFK,具体如下:

  • E:elasticsearch;
  • F:fluentd;
  • K:kibana
    这里我们变成了使用fluentd的AWS替代品Fluent Bit,直接将日志输出到CloudWatch组。不需要E和K了。不过,这样仅仅用于AWS EKS。

步骤

给EC2 IAM角色CloudWatchAgentServerPolicy权限

给支撑运行EKS的EC2上面的IAM角色添加CloudWatchAgentServerPolicy策略。这里的角色名是AmazonEKSNodeRole。

创建amazon-cloudwatch命名空间

bash 复制代码
kubectl apply -f https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/daemonset/container-insights-monitoring/cloudwatch-namespace.yaml

创建cluster-info的ConfigMap

bash 复制代码
ClusterName=cluster-name
RegionName=cluster-region
FluentBitHttpPort='2020'
FluentBitReadFromHead='Off'
[[ ${FluentBitReadFromHead} = 'On' ]] && FluentBitReadFromTail='Off'|| FluentBitReadFromTail='On'
[[ -z ${FluentBitHttpPort} ]] && FluentBitHttpServer='Off' || FluentBitHttpServer='On'
kubectl create configmap fluent-bit-cluster-info \
--from-literal=cluster.name=${ClusterName} \
--from-literal=http.server=${FluentBitHttpServer} \
--from-literal=http.port=${FluentBitHttpPort} \
--from-literal=read.head=${FluentBitReadFromHead} \
--from-literal=read.tail=${FluentBitReadFromTail} \
--from-literal=logs.region=${RegionName} -n amazon-cloudwatch

其中,cluster-name表示集群名称;cluster-region表示云区。

创建fluent bit的daemonset

bash 复制代码
kubectl apply -f https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/daemonset/container-insights-monitoring/fluent-bit/fluent-bit.yaml

验证部署

bash 复制代码
kubectl get pods -n amazon-cloudwatch

应该能够查询出fluent-bit-*开头的pod,就表示部署fluent bit成功。然后,跑到CloudWatch页面看看是否存在/aws/containerinsights/*开头的相关日志组:

具体的SpringBoot服务的日志,在这个日志组下面:

bash 复制代码
/aws/containerinsights/uat/application

总结

这就是在AWS云上的k8s统一日志方案。和EFK方案很类似了。对业务服务SVC也是无侵入式的。

参考

相关推荐
藥瓿亭1 小时前
2024 CKA模拟系统制作 | Step-By-Step | 16、题目搭建-sidecar 代理容器日志
linux·运维·docker·云原生·容器·kubernetes·cka
阿杆2 小时前
大故障,阿里云核心域名疑似被劫持
云计算·阿里巴巴
探索云原生4 小时前
开源 vGPU 方案:HAMi,实现细粒度 GPU 切分
ai·云原生·kubernetes·gpu
斯普信云原生组5 小时前
K8S主机漏洞扫描时检测到kube-服务目标SSL证书已过期漏洞的一种永久性修复方法
https·kubernetes·ssl
国际云7 小时前
腾讯云国际版和国内版账户通用吗?一样吗?为什么?
大数据·运维·阿里云·云计算
ZStack开发者社区7 小时前
全球化2.0|云轴科技ZStack助力香港服务机构VMware替代
运维·云计算·政务
BOB-wangbaohai8 小时前
阿里云ACP云计算备考笔记 (3)——云存储&RDS
阿里云·云计算·oss·块存储·rds
qb_jiajia8 小时前
微软认证考试科目众多?该如何选择?
人工智能·microsoft·微软·云计算
AWS官方合作商12 小时前
Amazon Augmented AI:人类智慧与AI协作,破解机器学习审核难题
人工智能·机器学习·aws
亚林瓜子1 天前
AWS 成本异常检测IAM策略
云计算·aws·iam·cost