在 Elastic Observability 中，启用 TSDS 集成可节省高达 70% 的指标存储

作者：来自 Elastic Miguel Luna Bahubali Shetti

Elastic Observability 最新版本（8.9+）中最受欢迎的可观测性集成现在默认使用具备存储成本优势的时间序列索引模式来存储指标数据。

Kubernetes、Nginx、System、AWS、Azure、RabbitMQ、Redis 等常用的 Elastic Observability 集成都已启用时间序列数据流（TSDS）。

Elastic® 在 8.7 版本中正式发布了时间序列数据流（Time Series Data Stream，TSDS）功能。

Elastic 的时间序列数据流（TSDS）将指标存储在针对时间序列数据库（TSDB）优化的索引中，从而更高效地存储时间序列指标数据。Elastic 在 8.7 版本中还带来了显著的优化与新增功能，使指标存储成本降低约 70%。你可以了解 TSDS 的工作原理、它在 Elastic Observability 中的应用方式，以及如何将其用于你自己的指标数据。

8.7 中正式 GA 的三个 TSDB 功能包括：

降采样（Downsampling）：通过以更低粒度存储时间序列数据来减少存储占用，让你能更灵活地控制在预算范围内可保存的历史指标量。自 8.7 起，降采样在 Kibana® 中 "即开即用"，还能加快在 Lens、Timelion 或 TSVB 等可视化工具中展示大规模数据的速度。
时间序列数据流（TSDS）：通过按时间戳和维度字段等特定结构组织时间序列数据，从而更高效地排序和存储指标数据 ------ 在基准测试中可减少约 30% 的磁盘空间占用。
合成源（Synthetic source）：通过不在 _source 中保存原始文档，而是在需要时根据 doc_values 重新构建数据，从而减少存储空间占用。根据索引配置不同，可节省约 40% 的空间。

借助 Elasticsearch 的时间序列数据流（TSDS），Elastic Observability 能为关键指标数据的采集带来显著的存储节省。

截至 8.9 版本发布时，已有超过 40% 的 Elastic 集成版本默认使用时间序列索引模式。这些集成包括但不限于：Kubernetes、Nginx、System、AWS、Kinesis、Lambda，以及大多数采集大量指标数据的集成。

当使用启用 TSDS 的集成来收集指标时，你可以获得以下收益：

最多可减少 70% 的磁盘空间使用：在平台集成中无缝启用 TSDS 后，指标数据的磁盘存储可显著减少高达 70%，从而节省成本并提升基础设施的可扩展性。
精简的数据管理：TSDS 简化了带时间戳的指标数据的存储与检索，使指标的组织和分析更加轻松高效。
开箱即用的功能：得益于 TSDS 的原生集成，无需额外配置或人工干预，即可利用其强大的特性。该集成会自动优化指标数据的存储效率，让你专注于从中提取有价值的洞察。

让集成启用时间序列索引模式的过程将持续进行，并会在 Elastic 正式版本周期之外单独发布，也就是说，一旦准备就绪就会更新。这一机制适用于 Elastic Cloud，而本地部署或自管云环境则需要等待下一个版本才能升级。

高效的指标存储，节省约 70% 的空间

当你使用启用了 time_series 索引模式的 Elastic 集成时，指标数据会被高效地存储，无需你手动管理存储配置，即可开箱即用地将存储指标所需的磁盘空间减少多达 70%。
使用标准模式（30.4GB）与时间序列模式（5.9GB）存储指标的索引大小对比

当你向 TSDS 添加文档时，Elasticsearch 会根据文档的 @timestamp 值将其添加到相应的底层索引中。因此，TSDS 可以将文档添加到任何可写入的 TSDS 底层索引中，即使该索引不是最新的底层索引。

应用正在不断扩展，数据量也呈指数级增长，随之而来的是存储成本的上升。大多数组织都需要在保持预算的情况下，艰难地决定哪些数据需要保留或删除。借助 Elastic 的优化，你对云存储（如 S3）的使用量将会减少，从而降低将数据迁移到"冷"存储的需求。

这将自然地使你能够扩展指标存储，以保存更多的长期指标数据，从而有助于分析模式（长期分析）、减少 MTTx，并提升应用的整体性能。你可以阅读更多关于 TSDS 工作原理的详细信息。

额外的终端用户收益

除了显著的存储成本节省外，启用时间序列的集成为指标数据存储带来了新的方法，相比普通数据流具有几个显著优势：

高效索引：TSDS 通过利用基于维度的路由、内部索引排序和有时间限制的底层索引来优化索引和存储。这种智能组织方式可实现更优的压缩、更快的检索和更好的性能。
维度与指标：TSDS 引入了维度和指标的概念，使数据组织更精准。维度捕捉被测实体的特定方面，而指标提供随时间变化的数值测量和聚合。
专为指标设计：TSDS 专为指标数据设计，使其在时间序列数据存储上提供卓越的效率和性能。
无缝集成：TSDS 无缝集成到最新版本的热门平台集成中，如 Kubernetes、Nginx、System、AWS、Azure 等，无需手动设置和配置。
性能提升：日期直方图、范围查询、术语聚合等性能提升可达 15% 以上。

在 Kibana 中如何使用

要确认 Elastic Agent 指标集成是否有启用时间序列的版本，可使用集成文档定位该集成，然后滚动到描述页面的变更日志部分。

如果已发布启用时间序列的版本，变更日志中会有如下示例的发布说明。

你只需将集成版本升级到启用时间序列的版本（并选择升级集成策略），即可开启时间序列索引模式！

以下集成的最新版本现已启用 TSDB：

ActiveMQ
Apache
AWS
- Billing、DynamoDB、EBS、ECS、ELB、Firewall、Kinesis、Lambda、Nat Gateway、RDS、Redshift、S3、SNS、SQS、Transit Gateway、Usage、VPN、S3 Storage Lens
Couchdb
Docker
Elasticsearch
IBM MQ
IIS
Influxdb
Kafka
Kubernetes
Microsoft SQL server
Nginx
Oracle
RabbitMQ
Redis
System
Vsphere

今天就开始使用，在最流行且功能强大的日志存储中以时间序列模式存储你的指标，体验其带来的好处！

欲了解更多信息，包括使用时间序列与标准数据流存储指标的基准对比，请访问本文。

结论

随着 Elastic 8.9 的发布，我们开始提供启用时间序列索引模式的 Elastic 集成来存储指标。随着时间推移，将有越来越多的集成启用时间序列，但它们不会与 Elastic 版本绑定。目前可用的 TSDS 就绪集成包括 Kubernetes、Nginx、System、AWS、Kinesis、Lambda 等。可实现的好处包括：

存储减少约 70%
高效索引
更多维度和指标扩展
性能提升

Elastic Observability 的 TSDS 额外资源：

还没有 Elastic Cloud 账户？注册 Elastic Cloud，体验我上面提到的自动采集功能。

本文中描述的任何功能或特性发布与时间安排均由 Elastic 全权决定。当前不可用的功能或特性可能不会按时提供，甚至可能永远无法提供。

原文：https://www.elastic.co/blog/70-percent-storage-savings-for-metrics-with-elastic-observability