Observability：在 Elastic Stack 8.12 中使用 Elastic Agent 性能预设

作者：来自 Elastic Nima Rezainia, Bill Easton

8.12 中 Elastic Agent 性能有了重大改进

最新版本 8.12 标志着 Elastic Agent 和 Beats 调整方面的重大转变。在此更新中，Elastic® 引入了 Performance Presets，旨在简化用户的调整过程并增强默认设置以提高性能。

默认设置增强功能

如今，Elastic Agent 使用的默认调整参数自 Beats 诞生以来就已经存在，并且经过精心挑选，以确保数据尽快进入 Elasticsearch® 进行分析。从历史上看，调整 Elastic Agent 和 Beats 的性能需要深厚的知识，而对它们进行基准测试以获得最佳组合则需要更多的专业知识。

借助 8.12，我们让绝大多数客户不再需要调整 Elastic Agent 和 Beats。我们为 Elastic Agent 和 Beats 引入了新的默认设置，可将吞吐量提高高达 50%，将内存使用量减少 10%，将 Elasticsearch 的并发连接减少高达 80%，并减少 Beats/Elasticsearch 中的磁盘 I/O 代理请求最多增加 50%。

性能预设简介

如果新的默认设置不能满足你的需求，或者你可能需要更多吞吐量或想要扩展到更大的代理（agents）部署，下一步不是调整 YAML 文件中的参数；相反，新的性能预设采用了我们值得信赖的客户、现场团队和性能测试台的最佳实践，让你可以选择最适合您需求的预设，从而有效地提供量身定制的配置来满足你不同的性能要求。让我们探索四种预设和新的自定义选项，并了解哪一种最适合你的需求：

1. 平衡 - balanced

从 8.12 开始，Balanced 预设是默认预设，它优化 Elastic Agent 以实现合理的吞吐量和资源利用率水平，使其成为各种 Elastic Agent 使用案例的首选。

对于那些熟悉 Beats 中可用的各种设置的人来说，以下是 8.12 中默认值发生的具体更改。这些新的默认设置将每秒事件吞吐量 (EPS) 提高了 25%。

请注意：这些设置可能会在未来版本中发生变化，因为我们会继续调整这些设置以获得最佳性能。

|-------------------|---------------------|--------------|
| Configuration | Current Default | Balanced |
| bulk_max_size | 50 | 1600 |
| workers | 1 | 1 |
| queue.mem.events | 4096 | 3200 |
| flush.min_events | 2048 | 1600 |
| flush.timeout | 1 | 10 |
| compression | 1 | 1 |
| idle_timeout | 6 | 3 |

2. 吞吐量优化 - Optimized for Throughput

Optimized for Throughput 预设侧重于实现 4 倍以上的数据摄取率，使其成为需要代理处理大量事件的场景的理想选择。它采用了 Balanced 预设的最佳部分，但更自由地消耗 CPU 和内存，并在与 Elasticsearch 的多个附加连接之间复用事件。

3. 规模优化 - Optimized for Scale

如果你要将 Elastic Agent 部署到数万个系统，则 Optimized for Scale 预设可对 Elastic Agent 进行微调，以便从数万或数十万个设备收集较少量的主机数据（例如日志或指标）。它采用了 Balanced 预设的最佳部分，但以数据摄取的短暂延迟为代价，与默认值相比，Elasticsearch 的开放连接总数减少了 30 倍。如果你在 Elasticsearch 之前使用反向代理或负载均衡器，这会产生很大的差异。此设置的 EPS 性能与平衡设置非常相似。

4. 延迟优化 - Optimized for Latency

Optimized for Latency 预设可缩短数据摄取和处理之间的时间，使其适合低吞吐量但需要低延迟的实时分析和应用程序。此预设与 8.12 之前的 Elastic Agent 默认设置密切相关，是测试新预设时遇到的任何问题的完美后备方案。

在你的 Elastic 环境中，请务必注意，这些预设仅影响版本 8.12+ 上的代理。旧版本的 Agent 将继续使用其现有设置。

5. 定制 - custom

虽然预设旨在简化 Elastic Agent 的调整过程，但 Custom 选项允许用户对性能进行更精细的控制。你仍然可以参考 Elastic 提供的旧指南，该指南在 Agent 上仍然相关，因为 queue.mem.events 现在也是可配置的。此处提供的旧指南提供了有关调整 Elastic Beats 性能的实际示例和见解，包括批量大小、工作人员数量等。

为了提供进一步的指导，我们的公共文档中的表格显示了对 EPS 吞吐量性能的影响，作为平衡预设性能的函数，对于这些调整参数的各种排列，适合需要更精细控制的用户。选择自定义预设时可以设置这些参数。

如何配置

将通过将 preset 键添加到 agent policy 中的 Elasticsearch output 来选择 preset。最初，预设键的有效值为：balanced, throughput, scale, latency 及 custom。一个示例配置是：

outputs:
  default:
    type: elasticsearch
    hosts: [127.0.0.1:9200]
    api_key: "example-key"
    # Must be one of "balanced", "throughput", "scale", "latency", "custom" 
    # Unknown preset values move the output to the failed state with an appropriate error.
    preset: "throughput"
    bulk_max_size: 1024
    worker: 8

总之，Elastic 的新性能预设提供了一种便捷的方法来根据不同的性能需求微调 Elastic Agent。无论你需要平衡的性能、高吞吐量、可扩展性还是低延迟，这些预设都能提供优化的配置来满足你的需求。祝微调愉快！

Elastic 8.12 中还有哪些新功能？查看 8.12 公告帖子了解更多>>

原文：Using Elastic Agent Performance Presets in 8.12 | Elastic Blog