让 Elasticsearch Delete By Query 请求立即生效

让 Elasticsearch Delete By Query 请求立即生效

在 Elasticsearch 中,Delete By Query 操作默认是近实时的(near real-time),这意味着删除操作可能不会立即对搜索可见。要让删除操作立即生效,你可以使用以下几种方法:

1. 使用 refresh 参数

在请求中设置 refresh 参数为 truewait_for

go 复制代码
req := esapi.DeleteByQueryRequest{
    Index:      []string{doc.IndexName()},
    Body:       strings.NewReader(string(body)),
    Refresh:    esapi.BoolPtr(true), // 立即刷新
    // 或者使用 wait_for 让操作在刷新后返回
    // Refresh:    esapi.StringPtr("wait_for"),
}

2. 手动刷新索引

执行删除操作后,立即刷新相关索引:

go 复制代码
// 执行删除操作
res, err := req.Do(context.Background(), client)
if err != nil {
    // 处理错误
}
defer res.Body.Close()

// 手动刷新索引
refreshReq := esapi.IndicesRefreshRequest{
    Index: []string{doc.IndexName()},
}
refreshRes, err := refreshReq.Do(context.Background(), client)
if err != nil {
    // 处理错误
}
defer refreshRes.Body.Close()

3. 配置索引的刷新间隔

如果你经常需要实时操作,可以考虑将索引的刷新间隔设置为1秒(默认值):

json 复制代码
PUT /your_index/_settings
{
  "index.refresh_interval": "1s"
}

或者完全禁用自动刷新,改为手动控制:

json 复制代码
PUT /your_index/_settings
{
  "index.refresh_interval": "-1"
}

4. 使用 ?refresh URL 参数

如果你使用的是 REST API 而不是 Go 客户端,可以在 URL 中添加 ?refresh 参数:

复制代码
POST /your_index/_delete_by_query?refresh
{
  "query": { ... }
}

最佳实践建议

  1. 对于生产环境,频繁的刷新操作会影响性能,建议:

    • 批量操作时使用 refresh=wait_for
    • 对实时性要求高的单次操作使用 refresh=true
    • 大多数情况下依赖默认的刷新机制
  2. 如果你正在执行大量删除操作,考虑在操作完成后执行一次手动刷新,而不是每次删除都刷新。

  3. 注意 refresh=true 会立即创建新的段文件,可能导致更多的段合并操作,从而影响集群性能。

相关推荐
武子康2 小时前
大数据-148 Flink 写入 Kudu 实战:自定义 Sink 全流程(Flink 1.11/Kudu 1.17/Java 11)
大数据·后端·nosql
ZEERO~2 小时前
夏普比率和最大回撤公式推导及代码实现
大数据·人工智能·机器学习·金融
培培说证3 小时前
中专生做电商客服,能转电商运营吗?需要学习什么?
大数据·职场和发展
码界奇点3 小时前
时序数据库选型指南从大数据视角看IoTDB的核心优势
大数据·时序数据库·iotdb
数据超市4 小时前
快速CAD转到PPT的方法,带教程
大数据·python·科技·信息可视化·数据挖掘
TDengine (老段)4 小时前
从细胞工厂到智能制造:Extracellular 用 TDengine 打通数据生命线
java·大数据·数据库·科技·制造·时序数据库·tdengine
PONY LEE5 小时前
Flink 任务调优案例分析
大数据·flink
Hello.Reader5 小时前
Flink DataStream V2 的 Watermark可编排的“流内控制事件”实战
大数据·flink
驾数者5 小时前
Flink SQL核心概念解析:Table API与流表二元性
大数据·sql·flink