OSS生命周期管理与通过CloudLens for OSS接入目标Bucket进行监控统计

⚡⚡⚡ 新年新文⚡⚡⚡

文章目录

- 1，需求描述
- 2，准备ECS服务资源
- [3，开启 CloudLens for OSS 并开通访问日志](#3，开启 CloudLens for OSS 并开通访问日志)
- 4，构造对OSS的访问行为
- 5，OSS访问行为分析
- 6，异常检测
- - 6.1，创建告警
  - 6.2，编辑行动策略
- 7，模拟触发告警规则
- - 7.1，删除Bucket操作
  - 7.2，告警结果查看

本文件注重介绍OSS生命周期管理，节省存储费用，同时通过CloudLens for OSS提供的场景化运维管理功能，实现OSS Bucket资产的可观测性。

1，需求描述

公司业务系统部署在阿里云ECS上，系统在日常生产过程中产生大量的日志文件，为了避免过度占用服务器磁盘空间且满足合规，将应用日志文件存储在OSS上，为了节省成本对日志文件进行生命周期配置，同时，公司静态资源文件也托管在OSS上，为了分析其访问行为及进行异常的监控，通过CloudLens for OSS接入目标Bucket进行监控统计。

部署在云服务器上的应用产生的大量日志，为避免占用磁盘存储空间，- 定期将应用产生的日志上传到OSS Bucket
将应用所需的静态资源（图片）托管到OSS
针对日志文件，基于生命周期规则，转换其存储类型，降低存储成本
使用CloudLens for OSS，接入OSS访问明细日志（手动开启）、计量日志和时序监控数据（默认免费开通）
使用CloudLens for OSS 分析OSS 访问行为、检测异常等

2，准备ECS服务资源

一台阿里云服务器，配置使用最小配置;

创建后，您可以在云产品资源列表查看已创建的资源信息，例如：子用户名称、子用户密码、AK ID、AK Secret、资源中的项目名称等:

3，开启 CloudLens for OSS 并开通访问日志

登录日志服务控制台，进入SLS控制台主页，找到日志应用-云产品Lens-CloudLens for OSS 。

https://sls.console.aliyun.com/

单击上图红框ClouLens for OSS, 首次使用会弹出授权页面，进行开启授权。

找到所提供的Bucket，开启访问明细日志。

4，构造对OSS的访问行为

本步骤使用OSS控制台进行上传文件和创建目录的操作行为。除本实验步骤外，您也可在OSS控制台中进行删除，下载等其他操作行为。

资源文件下载链接。

bash 复制代码

https://clouder-labfileapp.oss-cn-hangzhou.aliyuncs.com/OSS/demo.jpg

https://clouder-labfileapp.oss-cn-hangzhou.aliyuncs.com/OSS/demo.log

4.1，上传静态资源

登录对象存储OSS控制台，在左侧导航栏中，单击Bucket列表，找到目标Bucket。

https://oss.console.aliyun.com/home

4.2，日志文件

点击文件列表后，然后单击新建目录，在新的页面中目录名中输入'log',并点击确定，完成目录的创建。
点击扫描文件后，弹出选择文件页面，选择demo.log资源文件，最后单击文件上传，完成上传。

4.3，生命周期配置

本步骤主要使用生命以及基于生命周期的规则策略定期将存储空间（Bucket）内的多个文件（Object）转储为指定存储类型，或者将过期的Object和碎片删除，从而节省存储费用。

登录对象存储OSS管理控制台。
https://oss.console.aliyun.com/

在左侧导航栏中，单击Bucket列表。在Bucket页面，找到目标Bucket，单击Bucket名称。
在数据管理菜单下，找到生命周期，单击创建规则。
进入创建规则面板，进行配置。（按照我们示例要保存的日志文件为例，基于最后一次修改改时间 7天后转为低频存储，14天后转为归档存储，30天后转为冷归档，60天后彻底删除进行设置）。

4.4，生命周期配置前后验证方法

本步骤主要指导您验证生命周期规则生效前后的变化

登录对象存储OSS管理控制台。
添加链接描述

在左侧导航栏中，单击Bucket列表。在Bucket页面，找到您创建的Bucket，单击Bucket名称。
选择文件管理-->文件列表，找到并进入到log目录，如下图：
点击文件右侧的详情，进入文件详情页面。

查看到前缀为log下的文件存储类型为最初的标准存储，生命周期触发规则（示例的规则为：基于最后一次修改时间 7天后转为低频存储，14天后转为归档存储，30天后转为冷归档，60天后彻底删除）生效后，重复上述步骤，对比该存储类型，查看其变化。

5，OSS访问行为分析

登录日志服务控制台，进入SLS控制台主页，找到日志应用-云产品Lens-->CloudLens for OSS ，单击进入。
https://sls.console.aliyun.com/
进入CloudLens for OSS之后，接入管理如下图：

说明：

Bucket列表：展示管理当前阿里云账号下所有符合条件的OSS Bucket以及相关日志采集状态。

目标存储库：集中管理存储目标库（Project、Logstore、Metricstore）。
进入查询分析-->访问明细日志，得到根据条件查询出来的日志信息如下图：

说明：如果对应地域下没有开启过任意一个Bucket的访问明细日志，则需要先行开启（见上述开启访问明细日志步骤），否则无法直接查询。根据Bucker实际所在地域进行选择。

进入查询分析-->计量日志，可以查询分析所有Bucket的计量数据，也可选择过滤条件。

说明：该操作步骤是为了演示计量日志的操作，用于辅助分析OSS Bucket每小时累计的计量数据，但计量日志功能存在延迟，延迟时间为几小时，该操作步骤显示若为空白属于正常现象。
进入报表中心-->资源用量，可以查看存储量、带宽等核心资源的使用情况，查看存储量趋势/存储量分布/Bucket 存储量 Top20等，展示页面如下图：

地域：根据Bucket实际所在地域进行选择。

存储类型：标准存储。

Bucket：要查看Bucket名称。
进入报表中心-->访问分析，了解使用行为情况，辅助产品使用和业务运营分析。
进入报表中心-->安全分析，暴露不合理的配置和高危操作，给出优化建议。

Bucket 配置健康分析：主要针对Bucket的配置风险点提供优化建议，尽量避免可能的隐患。

说明：从下图可以看到配置健康分析中的风险类型，以及出现某类风险的Bucket数量及名称。

Object操作风险分析：依赖访问明细日志，展示文件删除等高危操作的执行情况。

说明：若显示无数据，则代表未触发过删除文件的操作。

6，异常检测

6.1，创建告警

进入异常告警-->告警管理，进入Bucket试图的告警页面，可以针对指定的Bucket配置需要的告警规则，此处为配置删除OSS Bucket告警为例。

说明：告警名称默认为规则名称，一般保持默认即可，可以根据需要进行调整，其他默认阈值也都需要根据实际配置一个合理的值。

将静默期设置为0，然后点击行动策略中的查看配置详情，会跳转进入编辑行动策略页面。

6.2，编辑行动策略

说明：首次创建告警时，由于默认的行动策略为SLS OSS内置行动策略，该内置策略关联的用户组下默认没有用户，需要用户先创建用户加入到该用户组，同时默认的行动组只支持邮件，如果需要增加其他通知渠道也需要修改行动策略，具体操作可参考创建行动策略，也可以选择创建新的行动策略。
https://help.aliyun.com/document_detail/207709.html

在跳转的编辑行动策略界面中，选择渠道为短信，然后点击接收人的新增按钮，进行新增用户用于接收短信告警。

行动策略中我们选择的通知渠道是"短信"。

创建用户

如果用户已创建，则直接将对应用户加入用户组即可，如下：
进入添加用户界面，如下图所示进行配置，填写标识符、姓名、手机号，最后点击确认按钮。
将用户添加到用户组。首先点击用户管理旁边的标识符，选择用户组管理，进入用户组管理页面。
在修改用户组界面，按照如下图进行配置，然后点击确认，完成添加用户组的用户。
上述操作完成后，已将用户添加到用户组，并设置短信告警，需返回编辑行动策略页面，点击确认，完成行动策略的配置。
返回初始创建告警的标签页面，点击确认，在告警规则中显示1条告警规则，则代表完成告警配置。

7，模拟触发告警规则

在上述步骤中，配置了OSS bucket删除告警规则同时通过短信渠道报警，现在我们开始模拟删除刚刚创建的Bucket，进行触发告警，告警可以通过如下方式查看：

在异常检测-->告警态势中查看告警信息。

根据收到的短信得知触发告警。

7.1，删除Bucket操作

登录对象存储OSS控制台，在左侧导航栏中，单击Bucket列表，找到目标Bucket，单击进入。

7.2，告警结果查看

登录日志服务控制台，进入SLS控制台主页，找到日志应用-云产品Lens-->CloudLens for OSS ，单击进入。
进入日志服务CloudLens for OSS后,找到异常检测-->告警态势，因数据有延迟，需稍等片刻，可查看到删除OSS Bucket的告警。
手机短信通知展示。

说明：需要等待一段时间才能收到。

感谢阅读，下期更精彩 👋👋👋