es 数据清理delete_by_query

bash 复制代码
POST /索引名/_delete_by_query?conflicts=proceed&scroll_size=2000&wait_for_completion=false&slices=36
{"size": 2000, 
  "query": {
    "bool": { 
      "must": [
        {
          "terms": {
              "rule_id": [
               800007
              ]
          }
      
        }
      ]
    }
  }
}

slices=36 一共的副本数量 主和副本总数。

scroll_size=2000 分批的数量。

conflicts=proceed 遇到版本冲突继续,

如果通过查询删除遇到版本冲突,将如何处理:终止或继续。默认为终止

wait_for_completion=false 放后台执行

通过调整这个两个参数控制性能和es压力

slices

scroll_size

查看后台任务id

bash 复制代码
GET _tasks?detailed=true&actions=*/delete/byquery&pretty

取消任务

bash 复制代码
POST /_tasks/ZGPDvWcgRXyuoWeiPFupcQ:23507301/_cancel

理论上删除数据以后后台会自动merge ,不用执行下面命令。

bash 复制代码
POST /index_name/_forcemerge?only_expunge_deletes=true

参考:

https://elasticsearch.bookhub.tech/rest_apis/document_apis/delete_by_query

https://www.elastic.org.cn/docs/8.1/www.elastic.co/guide/en/elasticsearch/reference/current/docs-delete-by-query.html

相关推荐
qr9j422332 小时前
elasticsearch 如果按照日期进行筛选
大数据·elasticsearch·jenkins
DavidSoCool3 小时前
es分页边界数据重复问题处理
大数据·elasticsearch·搜索引擎
qq_5470261794 小时前
Elasticsearch 正排索引
大数据·elasticsearch·jenkins
Elasticsearch6 小时前
在 Elasticsearch 中使用 Amazon Nova 模型
elasticsearch
叶辰 .8 小时前
ES使用聚合aggregations实战(2025.04.02更新)
大数据·elasticsearch·jenkins
IT成长日记1 天前
Elasticsearch安全加固指南:启用登录认证与SSL加密
安全·elasticsearch·ssl
Elasticsearch1 天前
现在支持通过 EDOT Collector 在 Kubernetes 上动态发现工作负载
elasticsearch
上等猿2 天前
Elasticsearch笔记
java·笔记·elasticsearch
qq_5470261792 天前
Elasticsearch 评分机制
大数据·elasticsearch·jenkins
yangmf20402 天前
私有知识库 Coco AI 实战(一):Linux 平台部署
大数据·linux·运维·人工智能·elasticsearch·搜索引擎·全文检索