AWS EKS 集群日志上报观测云实践

AWS Lambda 介绍

AWS Lambda 是亚⻢逊提供的⼀种⽆服务器计算服务。它允许开发⼈员在⽆需管理服务器的情况下运⾏代码。AWS Lambda 基于事件驱动的模型,当触发指定的事件时,Lambda 会⾃动执⾏相应的代码逻辑。

Amazon CloudWatch 日志

CloudWatch 日志使您能够将您使用的所有系统、应用程序和 AWS 服务的日志集中到一个高度可扩展的单一服务中。然后,您可以轻松查看它们,在它们中搜索特定的错误代码或模式,根据特定字段对其进行筛选,或者将其安全地存档以备将来分析。 CloudWatch 日志使您可以将所有日志(无论其来源如何)视为按时间排序的单一且一致的事件流。

方案说明

AWS 集群日志流触发器,通过转发函数上报 DataKit,并上报观测云。

前置条件

  • AWS 集群开启日志投递至 CloudWatch Logs
  • 安装 DataKit,公网可直接访问
  • 开通观测云账户

接入步骤

配置 DataKit 服务

安装 DataKit

ini 复制代码
# 需要把token 改成观测云空间的实际token值(可在观测云控制台-->集成-->Datakit 上面获取)
DK_DATAWAY="https://openway.guance.com?token=tkn_xxxxxx" bash -c "$(curl -L https://static.guance.com/datakit/install.sh)" 

开启外部访问 DataKit HTTP

bash 复制代码
vim /usr/local/datakit/conf.d/datakit.conf

默认的 HTTP 服务地址是 localhost:9529,如果 9529 端口被占用,或希望从外部访问 DataKit 的 HTTP 服务(比如希望接收 RUMTracing 数据),可将其修改成:

ini 复制代码
[http_api]
   listen = "0.0.0.0:<other-port>"
   # 或使用 IPV6 地址
   # listen = "[::]:<other-port>"

重启 DataKit

bash 复制代码
# 在主机终端输入命令
datakit service -R

查看采集器是否开启

bash 复制代码
# 在主机终端输入命令
datakit monitor

配置 Lambda

创建 Lambda 函数

克隆转发脚本

修改上报 DataKit 地址。

测试写入

模板选择 couldwatch-logs 。

看到日志写入成功。

绑定 EKS log 触发器

绑定完成后有新的集群日志即可上报观测云。

FAQ

转发脚本地址

github.com/GuanceCloud...

操作所需最小权限

  • logs: CreateLogGroup
  • logs: CreateLogStream
  • logs: PutLogEvents
  • lambda: *
  • AmazonS3ReadOnlyAccess
相关推荐
Amy_au2 天前
Dotnet 项目手动部署到AWS 和Github action CICD 流程总结
云计算·aws
我不是小upper2 天前
使用 Terraform、AWS 和 Python 构建无服务器实时数据管道
serverless·aws·terraform
运维开发王义杰3 天前
信息安全:GitLab与AWS OIDC集成的深度解析,IAM信任策略中的条件配置
云计算·gitlab·aws
阿雄不会写代码5 天前
python-pptx 库(最常用,适合生成/修改 PPT 文件)
云计算·aws
AWS官方合作商5 天前
构建企业级区块链网络:基于AWS EC2的弹性、高可用解决方案
网络·区块链·aws
fyihdg7 天前
aws上创建jenkins
云计算·aws
TG_yilongcloud7 天前
亚马逊云代理商:如何选择适合的AWS EC2实例类型?
服务器·云计算·aws·实例类型
运维开发王义杰7 天前
AWS:AssumeRole背后真正的安全哲学,不仅是迂回
安全·云计算·aws
一袋米扛几楼989 天前
【物联网】BLE 系统架构全景图
python·物联网·aws
艾小米10 天前
AWS申请增加弹性IP配额流程
云计算·aws