AWS EKS 集群日志上报观测云实践

AWS Lambda 介绍

AWS Lambda 是亚⻢逊提供的⼀种⽆服务器计算服务。它允许开发⼈员在⽆需管理服务器的情况下运⾏代码。AWS Lambda 基于事件驱动的模型,当触发指定的事件时,Lambda 会⾃动执⾏相应的代码逻辑。

Amazon CloudWatch 日志

CloudWatch 日志使您能够将您使用的所有系统、应用程序和 AWS 服务的日志集中到一个高度可扩展的单一服务中。然后,您可以轻松查看它们,在它们中搜索特定的错误代码或模式,根据特定字段对其进行筛选,或者将其安全地存档以备将来分析。 CloudWatch 日志使您可以将所有日志(无论其来源如何)视为按时间排序的单一且一致的事件流。

方案说明

AWS 集群日志流触发器,通过转发函数上报 DataKit,并上报观测云。

前置条件

  • AWS 集群开启日志投递至 CloudWatch Logs
  • 安装 DataKit,公网可直接访问
  • 开通观测云账户

接入步骤

配置 DataKit 服务

安装 DataKit

ini 复制代码
# 需要把token 改成观测云空间的实际token值(可在观测云控制台-->集成-->Datakit 上面获取)
DK_DATAWAY="https://openway.guance.com?token=tkn_xxxxxx" bash -c "$(curl -L https://static.guance.com/datakit/install.sh)" 

开启外部访问 DataKit HTTP

bash 复制代码
vim /usr/local/datakit/conf.d/datakit.conf

默认的 HTTP 服务地址是 localhost:9529,如果 9529 端口被占用,或希望从外部访问 DataKit 的 HTTP 服务(比如希望接收 RUMTracing 数据),可将其修改成:

ini 复制代码
[http_api]
   listen = "0.0.0.0:<other-port>"
   # 或使用 IPV6 地址
   # listen = "[::]:<other-port>"

重启 DataKit

bash 复制代码
# 在主机终端输入命令
datakit service -R

查看采集器是否开启

bash 复制代码
# 在主机终端输入命令
datakit monitor

配置 Lambda

创建 Lambda 函数

克隆转发脚本

修改上报 DataKit 地址。

测试写入

模板选择 couldwatch-logs 。

看到日志写入成功。

绑定 EKS log 触发器

绑定完成后有新的集群日志即可上报观测云。

FAQ

转发脚本地址

github.com/GuanceCloud...

操作所需最小权限

  • logs: CreateLogGroup
  • logs: CreateLogStream
  • logs: PutLogEvents
  • lambda: *
  • AmazonS3ReadOnlyAccess
相关推荐
sealaugh325 小时前
aws(学习笔记第四十八课) appsync-graphql-dynamodb
笔记·学习·aws
moppol18 小时前
Serverless 架构入门与实战:AWS Lambda、Azure Functions、Cloudflare Workers 对比
云原生·serverless·aws
观测云18 小时前
观测云 × AWS SSO:权限治理可观测实践
云计算·aws
在云上(oncloudai)18 小时前
AWS Directory Services全解析
aws
_可乐无糖19 小时前
AWS WebRTC: 判断viewer端拉流是否稳定的算法
linux·服务器·webrtc·aws
AWS官方合作商10 天前
AWS ACM 重磅上线:公有 SSL/TLS 证书现可导出,突破 AWS 边界! (突出新功能的重要性和突破性)
服务器·https·ssl·aws
fanstuck11 天前
AI驱动的DevOps运维与云服务部署自动化
运维·aws·自动化运维
忘记安全带11 天前
AWS EC2使用SSM会话管理器连接
服务器·网络·自动化·云计算·aws
AWS官方合作商12 天前
告别停机烦恼!AWS EC2实例升级的“零中断”实战方案
云计算·运维开发·aws
亚林瓜子13 天前
设置AWS EC2默认使用加密磁盘
云计算·磁盘·aws·加密