使用 Elastic Cloud Serverless 扩展批量索引

作者：来自 Elastic json

Elastic Cloud Serverless ( ECS ) 的 split-tier 架构设计将 indexing 任务与 search 分离。这意味着 indexing 和 search 可以根据系统的用户需求分别扩展。在后端，每个 tier 都有专用的 node pools，用于相应地管理计算资源需求。对于 indexing tier，当 indexing 负载（例如 indexing pressure、 CPU 和 memory 利用率、 write queue 饱和度）增加时，规模会以阶梯式扩展；当需求缓解时则会缩减。对于 search，tier 会根据摄入的数据量增长，并且可选地根据 search 负载扩展。

最棒的是，这个可扩展系统不需要最终用户进行管理。平台由 Elastic 完全托管。以下是一些在 Serverless 平台上优化 indexing 性能的建议。

新的 Serverless projects 从尽可能少的计算资源开始。这意味着只有在需要时才会消耗计算资源。
目标是将 bulk 延迟的中位数保持在 200 到 1000 毫秒之间。由于计划性的 object store flush，发送到 Serverless 的 bulk 请求最小响应时间为 200ms。这些 flush 是确保数据被正确持久化到 object storage 并可用于 search 的一部分。
为了获得高摄入性能，需要调优 bulk size 和 workers。可以从单个客户端的单个 bulk 请求响应时间开始测试，然后逐步增加。请确保在运行实验之前已加载所有 index templates。
如果 index 大小和规模是一个问题，请使用 data streams 而不是标准 indices。data streams 与标准 indices 的不同之处在于它们需要 @timestamp 字段，并由 data lifecycle policies 管理。在 serverless 中，data lifecycle 仅意味着分配数据保留期。data streams 最初是为高吞吐的 observability 和 security 工作负载设计的，具备超越标准 indices 的扩展能力，能够充分利用 Serverless 的扩展特性。
通过分散客户端工作负载来触发扩展。来自更多客户端的更多请求会促使你的 projects 扩展。从零开始扩展时，预计会以 429 的形式出现 backpressure。无论你是每天 1TB 还是 1PB 的用户，project 都需要逐步升温，并稳定到你的工作负载水平。
使用 Elasticsearch Rally 对摄入升温阶段和运行时的 indexing 吞吐量进行基准测试，可以使用你自己数据的样本，或者使用 Rally tracks repo 中的预定义工作负载。

我整理了一个脚本，用于实验不同的 bulk 请求大小和客户端数量。要使用它，请先安装 Astral uv，在脚本顶部设置标注的配置常量，然后运行： ./async_bulk.py。

脚本在完成后会输出一些统计信息：

复制代码

Starting indexing with 24 processes...
Documents per process: 4,166,666
Workers per process: 75


==================================================
Bulk Indexing Statistics (Multi-Process)
==================================================
Number of processes:         24
Total documents indexed:     99,999,984
Total bulk requests:         200016
Elapsed time:                237.26 seconds
Indexing rate:               421,480.34 docs/sec
Max queue depth:             10,000 documents
Min bulk response time:      204.97 ms
Median bulk response time:   1285.85 ms
Max bulk response time:      4273.16 ms
==================================================

如果使用 data stream：

复制代码

PUT /_index_template/advent_cal_ds_template
{
  "index_patterns": ["advent-ds*"],
  "data_stream": {},
  "template": {
    "mappings": {
      "properties": {
        "@timestamp": { "type": "date" }
      }
    }
  }
}

PUT /_data_stream/advent-ds

那么就在脚本中将 index name 设为 advent-ds。尽情使用吧！