让 Elasticsearch Delete By Query 请求立即生效

让 Elasticsearch Delete By Query 请求立即生效

在 Elasticsearch 中,Delete By Query 操作默认是近实时的(near real-time),这意味着删除操作可能不会立即对搜索可见。要让删除操作立即生效,你可以使用以下几种方法:

1. 使用 refresh 参数

在请求中设置 refresh 参数为 truewait_for

go 复制代码
req := esapi.DeleteByQueryRequest{
    Index:      []string{doc.IndexName()},
    Body:       strings.NewReader(string(body)),
    Refresh:    esapi.BoolPtr(true), // 立即刷新
    // 或者使用 wait_for 让操作在刷新后返回
    // Refresh:    esapi.StringPtr("wait_for"),
}

2. 手动刷新索引

执行删除操作后,立即刷新相关索引:

go 复制代码
// 执行删除操作
res, err := req.Do(context.Background(), client)
if err != nil {
    // 处理错误
}
defer res.Body.Close()

// 手动刷新索引
refreshReq := esapi.IndicesRefreshRequest{
    Index: []string{doc.IndexName()},
}
refreshRes, err := refreshReq.Do(context.Background(), client)
if err != nil {
    // 处理错误
}
defer refreshRes.Body.Close()

3. 配置索引的刷新间隔

如果你经常需要实时操作,可以考虑将索引的刷新间隔设置为1秒(默认值):

json 复制代码
PUT /your_index/_settings
{
  "index.refresh_interval": "1s"
}

或者完全禁用自动刷新,改为手动控制:

json 复制代码
PUT /your_index/_settings
{
  "index.refresh_interval": "-1"
}

4. 使用 ?refresh URL 参数

如果你使用的是 REST API 而不是 Go 客户端,可以在 URL 中添加 ?refresh 参数:

复制代码
POST /your_index/_delete_by_query?refresh
{
  "query": { ... }
}

最佳实践建议

  1. 对于生产环境,频繁的刷新操作会影响性能,建议:

    • 批量操作时使用 refresh=wait_for
    • 对实时性要求高的单次操作使用 refresh=true
    • 大多数情况下依赖默认的刷新机制
  2. 如果你正在执行大量删除操作,考虑在操作完成后执行一次手动刷新,而不是每次删除都刷新。

  3. 注意 refresh=true 会立即创建新的段文件,可能导致更多的段合并操作,从而影响集群性能。

相关推荐
洛森唛12 小时前
ElasticSearch查询语句Query String详解:从入门到精通
后端·elasticsearch
字节跳动数据平台12 小时前
5000 字技术向拆解 | 火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
武子康18 小时前
大数据-239 离线数仓 - 广告业务实战:Flume 导入日志到 HDFS,并完成 Hive ODS/DWD 分层加载
大数据·后端·apache hive
洛森唛1 天前
Elasticsearch DSL 查询语法大全:从入门到精通
后端·elasticsearch
字节跳动数据平台2 天前
代码量减少 70%、GPU 利用率达 95%:火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
得物技术2 天前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
武子康2 天前
大数据-238 离线数仓 - 广告业务 Hive分析实战:ADS 点击率、购买率与 Top100 排名避坑
大数据·后端·apache hive
武子康3 天前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
大大大大晴天3 天前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
Elasticsearch4 天前
如何使用 Agent Builder 排查 Kubernetes Pod 重启和 OOMKilled 事件
elasticsearch