ElasticSearch-IK分词器(elasticsearch插件)安装配置和ElasticSearch的Rest命令测试

666-LBJ-6662024-02-02 10:17

四、IK分词器(elasticsearch插件)

IK分词器：中文分词器

分词：即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一一个匹配操作，默认的中文分词是将每个字看成一个词 （不使用用IK分词器的情况下），比如"我爱狂神"会被分为"我"，"爱"，"狂"，"神" ，这显然是不符合要求的，所以我们需要安装中文分词器ik来解决这个问题。

IK提供了两个分词算法 : ik_smart和ik_max_word ,其中ik_smart为最少切分 , ik_max_word为最细粒度划分!

1、下载

版本要与ElasticSearch版本对应

下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

2、安装

ik文件夹是自己创建的

加压即可（但是我们需要解压到ElasticSearch的plugins目录ik文件夹下）

3、重启ElasticSearch

加载了IK分词器

4、使用 ElasticSearch安装补录/bin/elasticsearch-plugin 可以查看插件

shell 复制代码 
elasticsearch-plugin list

5、使用kibana测试

ik_smart：最少切分

ik_max_word：最细粒度划分（穷尽词库的可能）

从上面看，感觉分词都比较正常，但是大多数，分词都满足不了我们的想法，如下例

那么，我们需要手动将该词添加到分词器的词典当中

6、添加自定义的词添加到扩展字典中

elasticsearch目录/plugins/ik/config/IKAnalyzer.cfg.xml

打开 IKAnalyzer.cfg.xml 文件，扩展字典


创建字典文件，添加字典内容

重启ElasticSearch，再次使用kibana测试

分词器生效

五、Rest风格说明

一种软件架构风格 ,而不是标准,只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁 ，更有层次 ，更易于实现缓存等机制。

1、基本Rest命令说明：

method url地址 描述
PUT（创建,修改） localhost:9200/索引名称/类型名称/文档id 创建文档（指定文档id）
POST（创建） localhost:9200/索引名称/类型名称 创建文档（随机文档id）
POST（修改） localhost:9200/索引名称/类型名称/文档id/_update 修改文档
DELETE（删除） localhost:9200/索引名称/类型名称/文档id 删除文档
GET（查询） localhost:9200/索引名称/类型名称/文档id 查询文档通过文档ID
POST（查询） localhost:9200/索引名称/类型名称/文档id/_search 查询所有数据

2、测试

1）创建一个索引，添加

json 复制代码 
PUT /test1/type1/1
{
  "name" : "LBJ",
  "age" : 23
}

2）字段数据类型

  • 字符串类型
    • text、keyword
      • text：支持分词，全文检索,支持模糊、精确查询,不支持聚合,排序操作;text类型的最大支持的字符长度无限制,适合大字段存储；
      • keyword：不进行分词，直接索引、支持模糊、支持精确匹配，支持聚合、排序操作。keyword类型的最大支持的长度为------32766个UTF-8类型的字符,可以通过设置ignore_above指定自持字符长度，超过给定长度后的数据将不被索引，无法通过term精确匹配检索返回结果。
  • 数值型
    • long、Integer、short、byte、double、float、half float 、scaled float
  • 日期类型
    • date
  • te布尔类型
    • boolean
  • 二进制类型
    • binary
  • 等等...

3）指定字段的类型（使用PUT）

类似于建库（建立索引和字段对应类型），也可看做规则的建立

json 复制代码 
PUT /test2
{
  "mappings": {
    "properties": {
      "name": {
        "type": "text"
      },
      "age":{
        "type": "long"
      },
      "birthday":{
        "type": "date"
      }
    }
  }
}

4）获取3建立的规则

json 复制代码 
GET test2

5）获取默认信息

_doc 默认类型（default type），type 在未来的版本中会逐渐弃用，因此产生一个默认类型进行代替

json 复制代码 
PUT /test3/_doc/1
{
  "name": "流柚",
  "age": 18,
  "birth": "1999-10-10"
}
GET test3

如果自己的文档字段没有被指定，那么ElasticSearch就会给我们默认配置字段类型

扩展：通过get _cat/ 可以获取ElasticSearch的当前的很多信息！

json 复制代码 
GET _cat/indices
GET _cat/aliases
GET _cat/allocation
GET _cat/count
GET _cat/fielddata
GET _cat/health
GET _cat/indices
GET _cat/master
GET _cat/nodeattrs
GET _cat/nodes
GET _cat/pending_tasks
GET _cat/plugins
GET _cat/recovery
GET _cat/repositories
GET _cat/segments
GET _cat/shards
GET _cat/snapshots
GET _cat/tasks
GET _cat/templates
GET _cat/thread_pool

6）修改

两种方案

①旧的（使用put覆盖原来的值）

  • 版本+1（_version）
  • 但是如果漏掉某个字段没有写，那么更新是没有写的字段 ，会消失
json 复制代码 
PUT /test3/_doc/1
{
  "name" : "流柚是我的大哥",
  "age" : 18,
  "birth" : "1999-10-10"
}
GET /test3/_doc/1
// 修改会有字段丢失
PUT /test3/_doc/1
{
  "name" : "流柚"
}
GET /test3/_doc/1

②新的（使用post的update）

  • version不会改变
  • 需要注意doc
  • 不会丢失字段
json 复制代码 
POST /test3/_doc/1/_update
{
  "doc":{
    "name" : "post修改，version不会加一",
    "age" : 2
  }
}
GET /test3/_doc/1

7）删除

json 复制代码 
GET /test1
DELETE /test1

8）查询（简单条件）

json 复制代码 
GET /test3/_doc/_search?q=name:流柚

9）复杂查询

test3索引中的内容

①查询匹配
  • match：匹配（会使用分词器解析（先分析文档，然后进行查询））
  • _source：过滤字段
  • sort：排序
  • form、size 分页
json 复制代码 
  // 查询匹配
  GET /blog/user/_search
  {
    "query":{
      "match":{
        "name":"流"
      }
    }
    ,
    "_source": ["name","desc"]
    ,
    "sort": [
      {
        "age": {
          "order": "asc"
        }
      }
    ]
    ,
    "from": 0
    ,
    "size": 1
  }
②多条件查询（bool）
  • must 相当于 and
  • should 相当于 or
  • must_not 相当于 not (... and ...)
  • filter 过滤
json 复制代码 
/// bool 多条件查询
 must <==> and
 should <==> or
 must_not <==> not (... and ...)
 filter数据过滤
 boost
 minimum_should_match
GET /blog/user/_search
{
  "query":{
    "bool": {
      "must": [
        {
          "match":{
            "age":3
          }
        },
        {
          "match": {
            "name": "流"
          }
        }
      ],
      "filter": {
        "range": {
          "age": {
            "gte": 1,
            "lte": 3
          }
        }
      }
    }
  }
}
③匹配数组
  • 貌似不能与其它字段一起使用
  • 可以多关键字查（空格隔开）--- 匹配字段也是符合的
  • match 会使用分词器解析（先分析文档，然后进行查询）
  • 搜词
json 复制代码 
// 匹配数组 貌似不能与其它字段一起使用
// 可以多关键字查（空格隔开）
// match 会使用分词器解析（先分析文档，然后进行查询）
GET /test3/user/_search
{
  "query":{
    "match":{
      "desc":"詹 库 杜"
    }
  }
}
④精确查询
  • term 直接通过 倒排索引 指定词条查询
  • 适合查询 number、date、keyword ，不适合text
json 复制代码 
// 精确查询（必须全部都有，而且不可分，即按一个完整的词查询）
// term 直接通过 倒排索引 指定的词条 进行精确查找的
GET /blog/user/_search
{
  "query":{
    "term":{
      "desc":"年 "
    }
  }
}

有空格

没有空格

⑤text和keyword
  • text：
    • 支持分词 ，全文检索、支持模糊、精确查询,不支持聚合,排序操作;
    • text类型的最大支持的字符长度无限制,适合大字段存储；
  • keyword：
    • 不进行分词 ，直接索引、支持模糊、支持精确匹配，支持聚合、排序操作。
    • keyword类型的最大支持的长度为------32766个UTF-8类型的字符,可以通过设置ignore_above指定自持字符长度，超过给定长度后的数据将不被索引，无法通过term精确匹配检索返回结果。
json 复制代码 
// 测试keyword和text是否支持分词
// 设置索引类型
PUT /test
{
  "mappings": {
    "properties": {
      "text":{
        "type":"text"
      },
      "keyword":{
        "type":"keyword"
      }
    }
  }
}
// 设置字段数据
PUT /test/_doc/1
{
  "text":"测试keyword和text是否支持分词",
  "keyword":"测试keyword和text是否支持分词"
}
// text 支持分词
// keyword 不支持分词
GET /test/_doc/_search
{
  "query":{
   "match":{
      "text":"测试"
   }
  }
}// 查的到
GET /test/_doc/_search
{
  "query":{
   "match":{
      "keyword":"测试"
   }
  }
}// 查不到，必须是 "测试keyword和text是否支持分词" 才能查到
GET _analyze
{
  "analyzer": "keyword",
  "text": ["测试liu"]
}// 不会分词，即 测试liu
GET _analyze
{
  "analyzer": "standard",
  "text": ["测试liu"]
}// 分为 测 试 liu
GET _analyze
{
  "analyzer":"ik_max_word",
  "text": ["测试liu"]
}// 分为 测试 liu

text支持分词

keyword不支持分词

完整


⑥高亮查询
json 复制代码 
/// 高亮查询
GET blog/user/_search
{
  "query": {
    "match": {
      "name":"流"
    }
  }
  ,
  "highlight": {
    "fields": {
      "name": {}
    }
  }
}
// 自定义前缀和后缀
GET blog/user/_search
{
  "query": {
    "match": {
      "name":"流"
    }
  }
  ,
  "highlight": {
    "pre_tags": "<p class='key' style='color:red'>",
    "post_tags": "</p>", 
    "fields": {
      "name": {}
    }
  }
}

高亮

自定义高亮

ElasticSearch-IK分词器(elasticsearch插件)安装配置和ElasticSearch的Rest命令测试 到此完结，笔者归纳、创作不易，大佬们给个3连再起飞吧

相关推荐
+码农快讯+1 小时前
Git入门学习（1）
git·学习·elasticsearch
码爸4 小时前
java 执行es中的sql
java·sql·elasticsearch
学习使我快乐——玉祥7 小时前
es查询语法
大数据·elasticsearch·搜索引擎
徐*红10 小时前
Elasticsearch 8.+ 版本查询方式
大数据·elasticsearch
码爸10 小时前
flink 例子（scala）
大数据·elasticsearch·flink·scala
txtsteve11 小时前
es由一个集群迁移到另外一个集群es的数据迁移
大数据·elasticsearch·搜索引擎
工作中的程序员11 小时前
ES 索引或索引模板
大数据·数据库·elasticsearch
苹果cms插件专题11 小时前
苹果CMS插件：优化蜘蛛访问内容，提升百度收录率
搜索引擎·百度
Lill_bin1 天前
深入理解ElasticSearch集群：架构、高可用性与数据一致性
大数据·分布式·elasticsearch·搜索引擎·zookeeper·架构·全文检索
RwTo1 天前
Elasticsearch 聚合搜索
大数据·elasticsearch·搜索引擎·全文检索
热门推荐
01RAG 实践- Ollama+RagFlow 部署本地知识库02组基轨迹建模 GBTM的介绍与实现（Stata 或 R）032024年高教社杯数学建模国赛C题超详细解题思路分析04苍穹外卖面试总结05yolov8实战第五天——yolov8+ffmpg实时视频流检测并进行实时推流——（推流，保姆教学）06【2024数模国赛赛题思路公开】国赛B题思路丨附可运行代码丨无偿自提07软件工程从理论到实践客观题汇总(头歌第一章至第八章)08Coze扣子平台完整体验和实践（附国内和国际版对比）09【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解题思路 代码 论文1051-2 万字长文，深度解读端到端自动驾驶的挑战和前沿