关于elasticsearch的terms查询超过最大terms数

请叫我江同学呀2024-09-13 13:09

当我使用es的terms查询时，报错了这段内容。

python 复制代码

failed to create query: The number of terms [80306] used in the Terms
Query request has exceeded the allowed maximum of [65536]. This
maximum can be set by changing the [index.max_terms_count] index level
setting.

根据资料，这是es对terms的数量限制。最高限制为65536，。

要解决这个问题，我研究了两种方法：

改变最大terms数量

powershell 复制代码

curl --location --request PUT 'xxxxx/_settings' \
--header 'User-Agent: Apipost client Runtime/+https://www.apipost.cn/' \
--header 'Content-Type: application/json' \
--data '{
  "index.max_terms_count": 262144
}'

将单个terms分为多个terms，按照max_terms_count的数量，将terms的值数组切成多个数组，通过should的方式拼起来进行查询。

总结：

目前我用的这两种方法都可以实现同样的效果，当前我使用的数组长度大约是8w个，在查询速度上两个的速度基本相同。

参考资料：