使用 Elasticsearch

哒哒-blog2023-07-26 18:57

了解如何创建索引，添加，删除，更新文档

参考文档 开始使用 Elasticsearch 1

本文用到Elasticsearch和Kibana 可以看之前的两篇先安装好
Elasticsearch 安装
Kibana安装

Elasticsearch 里的接口都是通过 REST 接口来实现的。

GET						读取数据
POST					插入数据
PUT 或 PATCH			更新数据，或如果是一个新的 id，则插入数据
DELETE					删除数据

http://localhost:5601/app/dev_tools

GET /

还可以复制为Curl

curl -XGET "https://1270.0.1:9200/" -H "kbn-xsrf: reporting"

同样可以 复制curl至页面就会变成 GET /

查看当前索引的 mapping：

bash 复制代码 
GET dada/_mapping
bash 复制代码 
{
  "dada": {
    "mappings": {
      "properties": {
        "cc": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "uid": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "user": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        }
      }
    }
  }
}

Elasticsearch 的数据类型：

text：							全文搜索字符串
keyword：						用于精确字符串匹配和聚合
date 及 date_nanos：				格式化为日期或数字日期的字符串
byte, short, integer, long：	整数类型
boolean：						布尔类型
float，double，half_float：		浮点数类型
分级的类型：object 及 nested。

创建一个索引 test，并且含有 id 及 message 字段。id 字段为 keyword 类型，而 message 字段为 text 类型，那么我们可以使用如下的方法来创建：

bash 复制代码 
PUT test
{
  "mappings": {
    "properties": {
      "id": {
        "type": "keyword"
      },
      "message": {
        "type": "text"
      }
    }
  }
}
#--------返回结果--------
{
  "acknowledged": true,
  "shards_acknowledged": true,
  "index": "test"
}

追加一个新的字段 age，并且它的类型为 long 类型：

bash 复制代码 
PUT test/_mapping
{
  "properties": {
    "age": {
      "type": "long"
    }
  }
}
#--------返回结果--------
{
  "acknowledged": true
}
bash 复制代码 
#查看结果
GET test/_mapping
#--------返回结果--------
{
  "test": {
    "mappings": {
      "properties": {
        "age": {
          "type": "long"
        },
        "id": {
          "type": "keyword"
        },
        "message": {
          "type": "text"
        }
      }
    }
  }
}

_refresh 用于使新文档在搜索时可见。

反过来，_flush 用于在硬盘上持久化内存段。

_flush不会影响Elasticsearch中文档的可见性，因为搜索是在内存段中进行的，而_refresh会影响它们的可见性。

bash 复制代码 
#存在就会修改
PUT dada/_doc/2
{
  "user":"222",
  "uid":2,
  "cc":"222"
}
#存在就会返回报错
PUT dada/_create/2
{
  "user":"222",
  "uid":2,
  "cc":"222"
}
#效果一样
PUT dada/_doc/2?op_type=create
{
  "user":"22222",
  "uid":2,
  "cc":"222"
}
#--------返回报错--------
{
  "error": {
    "root_cause": [
      {
        "type": "version_conflict_engine_exception",
        "reason": "[2]: version conflict, document already exists (current version [2])",
        "index_uuid": "gFA5LQXRQIef2WBv3d_aWw",
        "shard": "0",
        "index": "dada"
      }
    ],
    "type": "version_conflict_engine_exception",
    "reason": "[2]: version conflict, document already exists (current version [2])",
    "index_uuid": "gFA5LQXRQIef2WBv3d_aWw",
    "shard": "0",
    "index": "dada"
  },
  "status": 409
}

查询只看_source部分

bash 复制代码 
GET dada/_doc/2
#正常返回
{
  "_index": "dada",
  "_id": "2",
  "_version": 2,
  "_seq_no": 6,
  "_primary_term": 1,
  "found": true,
  "_source": {
    "user": "222",
    "uid": 2,
    "cc": "222"
  }
}
#--------_source-------
GET dada/_source/2
#返回
{
  "user": "222",
  "uid": 2,
  "cc": "222"
}

自动 ID 生成

使用 POST

bash 复制代码 
POST dada/_doc/
{
  "user":"55",
  "uid":5,
  "cc":"55"
}
#-----返回的结果：-----
{
  "_index": "dada",
  "_id": "u_g9C4kB2SZh9y2Iu2Gc",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 7,
  "_primary_term": 1
}

只读部分数据

bash 复制代码 
GET dada/_doc/2?_source=user,uid
#-----返回的结果------
{
  "_index": "dada",
  "_id": "2",
  "_version": 2,
  "_seq_no": 6,
  "_primary_term": 1,
  "found": true,
  "_source": {
    "user": "222",
    "uid": 2
  }
}
GET dada/_source/2?_source=user,uid
#-----返回的结果------
{
  "user": "222",
  "uid": 2
}

一次请求查找多个文档 _mget

bash 复制代码 
GET _mget
{
  "docs":[
    {
      "_index":"dada",
      "_id":2
    },
    {
      "_index":"test",
      "_id":"vPhIC4kB2SZh9y2IU2G6"
    }
  ]
}
#-----------返回的结果------------
{
  "docs": [
    {
      "_index": "dada",
      "_id": "2",
      "_version": 2,
      "_seq_no": 6,
      "_primary_term": 1,
      "found": true,
      "_source": {
        "user": "222",
        "uid": 2,
        "cc": "222"
      }
    },
    {
      "_index": "test",
      "_id": "vPhIC4kB2SZh9y2IU2G6",
      "_version": 1,
      "_seq_no": 0,
      "_primary_term": 1,
      "found": true,
      "_source": {
        "age": 20,
        "id": 11,
        "message": "lalalalaaaa"
      }
    }
  ]
}

也可以只获得部分字段

bash 复制代码 
GET _mget
{
  "docs":[
    {
      "_index":"dada",
      "_id":2,
      "_source":["user","uid"]
    },
    {
      "_index":"test",
      "_id":"vPhIC4kB2SZh9y2IU2G6"
    }
  ]
}
#---------返回的结果---------
{
  "docs": [
    {
      "_index": "dada",
      "_id": "2",
      "_version": 2,
      "_seq_no": 6,
      "_primary_term": 1,
      "found": true,
      "_source": {
        "user": "222",
        "uid": 2
      }
    },
    {
      "_index": "test",
      "_id": "vPhIC4kB2SZh9y2IU2G6",
      "_version": 1,
      "_seq_no": 0,
      "_primary_term": 1,
      "found": true,
      "_source": {
        "age": 20,
        "id": 11,
        "message": "lalalalaaaa"
      }
    }
  ]
}
bash 复制代码 
GET _mget
{
  "docs":[
    {
      "_index":"dada",
      "_id":2,
      "_source":["user","uid"]
    },
    {
      "_index":"dada",
      "_id":1
    }
  ]
}
#--------可简写：---------
GET dada/_mget
{
  "ids":["1","2"]
}
#------------返回结果------------
{
  "docs": [
    {
      "_index": "dada",
      "_id": "1",
      "_version": 1,
      "_seq_no": 0,
      "_primary_term": 1,
      "found": true,
      "_source": {
        "user": "GB",
        "uid": "sss",
        "cc": "aa"
      }
    },
    {
      "_index": "dada",
      "_id": "2",
      "_version": 2,
      "_seq_no": 6,
      "_primary_term": 1,
      "found": true,
      "_source": {
        "user": "222",
        "uid": 2,
        "cc": "222"
      }
    }
  ]
}

修改一个文档

在上面我们看到了可以使用 POST 的命令来修改改一个文档。通常我们使用 POST 来创建一个新的文档。在使用 POST 的时候，我们甚至不用去指定特定的 id，系统会帮我们自动生成。但是我们修改一个文档时，我们通常会使用 PUT 来进行操作，并且，我们需要指定一个特定的 id 来进行修改：

PUT修改时，每一项都会改

bash 复制代码 
PUT test/_doc/1
{
  "age":110,
  "id":1212
}

使用POST 只改需要改的字段，其他字段会保留下来

bash 复制代码 
POST test/_update/1
{
  "doc": {
    "age":22222,
    "id":20
  }
}

先查询后修改 script

通过查询的方式来进行查询，让后进行修改。ES 也提供了相应的 REST 接口。

会把所有age为22222的都修改
bash 复制代码 
POST test/_update_by_query
{
  "query": {
    "match": {
      "age": "22222"
    }
  },
  "script": {
    "source": "ctx._source.id=params.id;ctx._source.message=params.message",
    "lang": "painless",
    "params":{
      "id":888,
      "message":"new哈哈哈",
      "oth":"????"
    }
  }
}

可以通过 update 接口，使用 script 的方法来进行修改。这个方法也是需要知道文档的 id

bash 复制代码 
POST test/_update/vPhIC4kB2SZh9y2IU2G6
{
  "script": {
    "source": "ctx._source.id=params.id;ctx._source.message=params.message",
    "lang": "painless",
    "params":{
      "id":999,
      "message":"new999哈哈哈",
      "oth":"??999??"
    }
  }
}
#------返回结果--------
{
  "_index": "test",
  "_id": "vPhIC4kB2SZh9y2IU2G6",
  "_version": 2,
  "result": "updated",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 9,
  "_primary_term": 1
}

在我们使用上面的方法更新文档时，如果当前的文档 id 不存在，那么我们甚至可以使用 upsert 属性来创建一个文档：

bash 复制代码 
POST test/_update/3
{
  "script": {
    "source": "ctx._source.id=params.id;ctx._source.message=params.message",
    "lang": "painless",
    "params":{
      "id":999,
      "message":"new999哈哈哈",
      "oth":"??999??"
    }
  },
  "upsert":{
    "id":3,
    "message":"3333333"
  }
}

我们甚至可以使用 _update 接口使用 ctx['_op'] 来达到删除一个文档的目的，比如：

当检测文档的 字段id 是否为 888，如果为 888 的话，那么该文档将被删除，否则将不做任何事情。
bash 复制代码 
POST test/_update/1
{
  "script": {
    "source":"""
    if(ctx._source.id == 888){
      ctx.op = 'delete'
    }else {
      ctx.op = 'none'
    }
    """
  }
}
#------返回---------
{
  "_index": "test",
  "_id": "1",
  "_version": 7,
  "result": "deleted",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 11,
  "_primary_term": 1
}

使用 script 的一些高级操作，比如我们可以通过如下的方法来添加一个崭新的字段,新增加了一个叫做 newfield 的字段：

bash 复制代码 
POST test/_update/2
{
  "script" : {
      "source": "ctx._source.newfield=4",
      "lang": "painless"
  }
}
#----------------------
{
        "_index": "test",
        "_id": "2",
        "_score": 1,
        "_source": {
          "id": 888,
          "message": "new哈哈哈",
          "age": 22222,
          "newfield": 4
        }
}
# --------------也可以删除字段-------------
POST test/_update/2
{
  "script" : {
      "source": "ctx._source.remove(\"newfield\")",
      "lang": "painless"
  }
}

在这里请注意的是：一旦一个字段被创建，那么它就会存在于更新的 mapping 中。即便针对 id 为 1 的文档删除了 newfield，但是 newfield 还将继续存在于 twitter 的 mapping 中。我们可以使用如下的命令来查看 twitter 的 mapping：

bash 复制代码 
GET test/_mapping
#---------返回结果-----------
{
  "test": {
    "mappings": {
      "properties": {
        "age": {
          "type": "long"
        },
        "id": {
          "type": "keyword"
        },
        "message": {
          "type": "text"
        },
        "newfield": {
          "type": "long"
        }
      }
    }
  }
}

UPSERT 一个文档

术语 "upsert" 宽松地表示更新或插入，即更新文档（如果存在），否则，插入新文档。

doc_as_upsert 参数检查具有给定ID的文档是否已经存在，并将提供的 doc 与现有文档合并。 如果不存在具有给定 id 的文档，则会插入具有给定文档内容的新文档。

下面的示例使用 doc_as_upsert 合并到 id 为 10 的文档中，或者如果不存在则插入一个新文档：

bash 复制代码 
POST test/_update/10
{
  "doc":{
    "age":"10",
    "id":"10",
    "newfield":"55",
    "message":"messssss"
  },
  "doc_as_upsert":true
}

检查一个文档是否存在

bash 复制代码 
HEAD test/_doc/10
# ---成功返回---
200 - OK

#------不存在-----
404 - Not Found

删除一个文档

bash 复制代码 
DELETE test/_doc/11
#成功返回
{
  "_index": "test",
  "_id": "11",
  "_version": 2,
  "result": "deleted",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 17,
  "_primary_term": 1
}

在不在id的情况下，先查询后删除，以下是把message等于14的都删除

bash 复制代码 
HEAD test/_doc/14
#--
200 - OK

POST test/_delete_by_query
{
  "query":{
    "match":{
      "message":"14"
    }
  }
}

HEAD test/_doc/14
#---
404 - Not Found

检查一个索引是否存在

bash 复制代码 
HEAD tt
200 - OK

删除一个索引

删除一个索引 是非常直接的。我们可以直接使用如下的命令来进行删除：

bash 复制代码 
DELETE tt
#删除成功返回
{
  "acknowledged": true
}

批处理命令

上面我们已经了解了如何使用 REST 接口来创建一个 index，并为之创建（Create），读取（Read），修改（Update），删除文档（Delete）（CRUD）。因为每一次操作都是一个 REST 请求，对于大量的数据进行操作的话，这个显得比较慢。ES 创建一个批量处理的命令给我们使用。这样我们在一次的 REST 请求中，我们就可以完成很多的操作。这无疑是一个非常大的好处。下面，我们来介绍一下这个 _bulk 命令。

我们使用如下的命令来进行 bulk 操作：

bash 复制代码 
POST _bulk
{ "index" : { "_index" : "twitter", "_id": 1} }
{"user":"双榆树-张三","message":"今儿天气不错啊，出去转转去","uid":2,"age":20,"city":"北京","province":"北京","country":"中国","address":"中国北京市海淀区","location":{"lat":"39.970718","lon":"116.325747"}}
{ "index" : { "_index" : "twitter", "_id": 2 }}
{"user":"东城区-老刘","message":"出发，下一站云南！","uid":3,"age":30,"city":"北京","province":"北京","country":"中国","address":"中国北京市东城区台基厂三条3号","location":{"lat":"39.904313","lon":"116.412754"}}
{ "index" : { "_index" : "twitter", "_id": 3} }
{"user":"东城区-李四","message":"happy birthday!","uid":4,"age":30,"city":"北京","province":"北京","country":"中国","address":"中国北京市东城区","location":{"lat":"39.893801","lon":"116.408986"}}
{ "index" : { "_index" : "twitter", "_id": 4} }
{"user":"朝阳区-老贾","message":"123,gogogo","uid":5,"age":35,"city":"北京","province":"北京","country":"中国","address":"中国北京市朝阳区建国门","location":{"lat":"39.718256","lon":"116.367910"}}
{ "index" : { "_index" : "twitter", "_id": 5} }
{"user":"朝阳区-老王","message":"Happy BirthDay My Friend!","uid":6,"age":50,"city":"北京","province":"北京","country":"中国","address":"中国北京市朝阳区国贸","location":{"lat":"39.918256","lon":"116.467910"}}
{ "index" : { "_index" : "twitter", "_id": 6} }
{"user":"虹桥-老吴","message":"好友来了都今天我生日，好友来了,什么 birthday happy 就成!","uid":7,"age":90,"city":"上海","province":"上海","country":"中国","address":"中国上海市闵行区","location":{"lat":"31.175927","lon":"121.383328"}}

在上面的命令中，我们使用了 bulk 指令来完成我们的操作。在输入命令时，我们需要特别的注意：千万不要添加除了换行以外的空格，否则会导致错误。在上面我们使用的 index 用来创建一个文档。为了说明问题的方便，我们在每一个文档里，特别指定了每个文档的 id。当执行完我们的批处理 bulk 命令后，我们可以看到：

在实际的使用中，我们必须注意的是：一个好的起点是批量处理 1,000 到 5,000 个文档，总有效负载在 5MB 到 15MB 之间。如果我们的 payload 过大，那么可能会造成请求的失败。

通过 POST dd/_search 查询

统计 GET dd/_count

上面我们已经使用了 index 来创建6条文档记录。我也可以尝试其它的命令，比如 create:

bash 复制代码 
POST _bulk
{ "create" : { "_index" : "dd", "_id": 1} }
{"user":"双榆树-张三","message":"今儿天气不错啊，出去转转去","uid":2,"age":20,"city":"北京","province":"北京","country":"中国","address":"中国北京市海淀区","location":{"lat":"39.970718","lon":"116.325747"}}
{ "index" : { "_index" : "dd", "_id": 2 }}
{"user":"东城区-老刘","message":"出发，下一站云南！","uid":3,"age":30,"city":"北京","province":"北京","country":"中国","address":"中国北京市东城区台基厂三条3号","location":{"lat":"39.904313","lon":"116.412754"}}
{ "index" : { "_index" : "dd", "_id": 3} }
{"user":"东城区-李四","message":"happy birthday!","uid":4,"age":30,"city":"北京","province":"北京","country":"中国","address":"中国北京市东城区","location":{"lat":"39.893801","lon":"116.408986"}}
{ "index" : { "_index" : "dd", "_id": 4} }
{"user":"朝阳区-老贾","message":"123,gogogo","uid":5,"age":35,"city":"北京","province":"北京","country":"中国","address":"中国北京市朝阳区建国门","location":{"lat":"39.718256","lon":"116.367910"}}
{ "index" : { "_index" : "dd", "_id": 5} }
{"user":"朝阳区-老王","message":"Happy BirthDay My Friend!","uid":6,"age":50,"city":"北京","province":"北京","country":"中国","address":"中国北京市朝阳区国贸","location":{"lat":"39.918256","lon":"116.467910"}}
{ "index" : { "_index" : "dd", "_id": 6} }
{"user":"虹桥-老吴","message":"好友来了都今天我生日，好友来了,什么 birthday happy 就成!","uid":7,"age":90,"city":"上海","province":"上海","country":"中国","address":"中国上海市闵行区","location":{"lat":"31.175927","lon":"121.383328"}}

从上面的信息，我们可以看出来 index 和 create 的区别。index 总是可以成功，它可以覆盖之前的已经创建的文档，但是 create 则不行，如果已经有以那个 id 为名义的文档，就不会成功。

我们可以使用 delete 来删除一个已经创建好的文档：

bash 复制代码 
POST _bulk
{ "delete" : { "_index" : "dd", "_id": 1 }}

可以看到 id 为1的文档已经被删除了。我可以通过如下的命令来查看一下：

批量修改

bash 复制代码 
POST _bulk
{ "update" : { "_index" : "dd", "_id": 2 }}
{"doc": { "city": "长沙"}}

索引统计

GET dd/_stats

同时获得多个索引统计值
GET dd,test/_stats

通配符
GET dd*/_stats
相关推荐
soso196828 分钟前
DataWorks快速入门
大数据·数据仓库·信息可视化
The_Ticker34 分钟前
CFD平台如何接入实时行情源
java·大数据·数据库·人工智能·算法·区块链·软件工程
java1234_小锋39 分钟前
Elasticsearch中的节点（比如共20个），其中的10个选了一个master，另外10个选了另一个master，怎么办？
大数据·elasticsearch·jenkins
Elastic 中国社区官方博客40 分钟前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
我的运维人生40 分钟前
Elasticsearch实战应用：构建高效搜索与分析平台
大数据·elasticsearch·jenkins·运维开发·技术共享
jwolf240 分钟前
摸一下elasticsearch8的AI能力：语义搜索/vector向量搜索案例
人工智能·搜索引擎
大数据编程之光1 小时前
Flink Standalone集群模式安装部署全攻略
java·大数据·开发语言·面试·flink
B站计算机毕业设计超人1 小时前
计算机毕业设计SparkStreaming+Kafka旅游推荐系统 旅游景点客流量预测 旅游可视化 旅游大数据 Hive数据仓库 机器学习 深度学习
大数据·数据仓库·hadoop·python·kafka·课程设计·数据可视化
在下不上天3 小时前
Flume日志采集系统的部署,实现flume负载均衡，flume故障恢复
大数据·开发语言·python
智慧化智能化数字化方案3 小时前
华为IPD流程管理体系L1至L5最佳实践-解读
大数据·华为
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07【目标跟踪】相机运动补偿08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10怎样让音频速度变慢？请跟随以下方法进行操作