了解 ignore_above 参数对 Elasticsearch 中磁盘使用的影响

在 Elasticsearch 中，ignore_above 参数允许你忽略（而不是索引）长于指定长度的字符串。这对于限制字段的大小以避免性能问题很有用。在本文中，我们将探讨 "ignore_above" 参数如何影响 Elasticsearch 中字段的大小，并将比较两个不同的 ignore_above 参数之间的磁盘使用情况。

首先，我们创建一个名为 "test_index" 的索引，其中包含三个字段："field_ignore_above_4"、"field_ignore_above_256" 和 "field_ignore_above_512"。每个字段的类型都是 "keyword"，并且具有不同的 "ignore_above" 设置：

PUT test_index
{
  "mappings": {
    "properties": {
       "field_ignore_above_4": {
        "type": "keyword",
        "ignore_above": 4
      },
      "field_ignore_above_256": {
        "type": "keyword",
        "ignore_above": 256
      },
      "field_ignore_above_512": {
        "type": "keyword",
        "ignore_above": 512
      }
    }
  }
}

接下来，我们将文档插入到 `test_index` 中：

PUT test_index/_doc/1
{
  "field_ignore_above_4": "some value",
  "field_ignore_above_256": "some value",
  "field_ignore_above_512": "some value"
}

当我们对 "test_index" 执行搜索时，我们可以看到 "field_ignore_above_4" 被忽略，因为它的值超出了 "ignore_above" 限制：

GET test_index/_search

响应显示 "field_ignore_above_4" 被忽略。这是因为 "some value" 的字符串长度超过 4。

我们做如下的查询：

GET test_index/_search
{
  "query": {
    "term": {
      "field_ignore_above_256": {
        "value": "some value"
      }
    }
  }
}

上面显示是有一个文档的。我们如下针对字段 field_ignore_above_4 来做查询：

GET test_index/_search
{
  "query": {
    "term": {
      "field_ignore_above_4": {
        "value": "some value"
      }
    }
  }
}

上面是不显示任何的文档的。这说明这个 field_ignore_above_4 字段确实是被忽略了。

现在，我们可以使用 "_disk_usage" API 计算字段的大小：

POST /test_index/_disk_usage?run_expensive_tasks=true&filter_path=**.fields.field*

响应提供有关每个字段大小的详细信息：

{
  "test_index": {
    "fields": {
      "field_ignore_above_256": {
        "total": "30b",
        "total_in_bytes": 30,
        "inverted_index": {
          "total": "19b",
          "total_in_bytes": 19
        },
        "stored_fields": "0b",
        "stored_fields_in_bytes": 0,
        "doc_values": "11b",
        "doc_values_in_bytes": 11,
        "points": "0b",
        "points_in_bytes": 0,
        "norms": "0b",
        "norms_in_bytes": 0,
        "term_vectors": "0b",
        "term_vectors_in_bytes": 0,
        "knn_vectors": "0b",
        "knn_vectors_in_bytes": 0
      },
      "field_ignore_above_512": {
        "total": "30b",
        "total_in_bytes": 30,
        "inverted_index": {
          "total": "19b",
          "total_in_bytes": 19
        },
        "stored_fields": "0b",
        "stored_fields_in_bytes": 0,
        "doc_values": "11b",
        "doc_values_in_bytes": 11,
        "points": "0b",
        "points_in_bytes": 0,
        "norms": "0b",
        "norms_in_bytes": 0,
        "term_vectors": "0b",
        "term_vectors_in_bytes": 0,
        "knn_vectors": "0b",
        "knn_vectors_in_bytes": 0
      }
    }
  }
}

从响应中，我们可以看到 field_ignore_above_256 和 field_ignore_above_512 的总大小相同，均为 30 字节。

有趣的是，"field_ignore_above_4" 不包含在磁盘使用统计信息中，因为它在索引过程中由于 "ignore_above" 设置而被忽略。这演示了如何使用 "ignore_above" 参数来控制字段的大小并优化 Elasticsearch 存储的使用。