elasticsearch的使用、api调用、更新、持久化

Elasticsearch 的基本使用

Elasticsearch 是一个开源的分布式搜索和分析引擎,适用于处理大规模数据。以下是其核心使用场景:

  • 索引创建:通过 RESTful API 创建索引,定义字段类型和映射。
  • 文档操作:支持增删改查(CRUD)操作,文档以 JSON 格式存储。
  • 搜索功能:支持全文搜索、聚合分析、模糊查询等高级搜索特性。

API 调用方法

Elasticsearch 提供 RESTful API,可通过 HTTP 请求交互:

索引文档(示例):

bash 复制代码
curl -X POST "http://localhost:9200/my_index/_doc/1" -H 'Content-Type: application/json' -d'
{
  "title": "Elasticsearch Guide",
  "content": "Distributed search engine"
}
'

搜索文档(示例):

bash 复制代码
curl -X GET "http://localhost:9200/my_index/_search" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": { "title": "Elasticsearch" }
  }
}
'

数据更新机制

Elasticsearch 支持部分更新和全量替换:

  • 部分更新 :使用 _update API 修改特定字段。

    bash 复制代码
    curl -X POST "http://localhost:9200/my_index/_update/1" -H 'Content-Type: application/json' -d'
    {
      "doc": { "content": "Distributed search and analytics" }
    }
    '
  • 全量替换:直接重新索引文档,覆盖原有内容。

持久化配置

Elasticsearch 默认将数据持久化到磁盘,关键配置如下:

  • 存储路径 :在 elasticsearch.yml 中设置 path.data,指定数据目录。

    yaml 复制代码
    path.data: /var/lib/elasticsearch
  • 副本分片 :通过 index.number_of_replicas 确保数据冗余,提高容错性。

  • 快照备份 :使用 snapshot API 定期备份索引到外部存储(如 S3、HDFS)。

性能优化建议

  • 合理设置分片数量(index.number_of_shards),避免分片过多或过少。
  • 使用 refresh_interval 调整索引刷新频率,平衡实时性与性能。
  • 启用 index.store.type: hybridfs 优化文件系统访问效率。
相关推荐
得物技术1 小时前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
武子康3 小时前
大数据-238 离线数仓 - 广告业务 Hive分析实战:ADS 点击率、购买率与 Top100 排名避坑
大数据·后端·apache hive
武子康1 天前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
大大大大晴天1 天前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
Elasticsearch2 天前
如何使用 Agent Builder 排查 Kubernetes Pod 重启和 OOMKilled 事件
elasticsearch
Elasticsearch3 天前
通用表达式语言 ( CEL ): CEL 输入如何改进 Elastic Agent 集成中的数据收集
elasticsearch
武子康3 天前
大数据-236 离线数仓 - 会员指标验证、DataX 导出与广告业务 ODS/DWD/ADS 全流程
大数据·后端·apache hive
武子康4 天前
大数据-235 离线数仓 - 实战:Flume+HDFS+Hive 搭建 ODS/DWD/DWS/ADS 会员分析链路
大数据·后端·apache hive
DianSan_ERP5 天前
电商API接口全链路监控:构建坚不可摧的线上运维防线
大数据·运维·网络·人工智能·git·servlet
够快云库5 天前
能源行业非结构化数据治理实战:从数据沼泽到智能资产
大数据·人工智能·机器学习·企业文件安全