Elasticsearch分词器

让你三行代码QAQ2024-07-01 13:42

Elasticsearch分词器

如何将一内容进行分词

json 复制代码 
get _analyze
{
  "text":"你好，我是小明，很高兴认识你",
  "analyzer":"standard"
}

normalization-规范化

normalization会将我们查询的内容和ES存储的内容进行统一的格式化，比如大小写、单复数、没有含义的单词等做统一的处理，以保证在检索的时候能够匹配的到。

Character Filter-字符过滤器

在搜索时不参与匹配的字符进行过滤，分为三种

HTML Strip

过滤HTML标签

json 复制代码 
put my_index
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_filter": {
          "type": "html_strip",
          "escaped_tags": [
            "a"
          ]
        }
      },
      "analyzer": {
      "my_analyzer": {
        "tokenizer": "keyword",
        "char_filter": "my_filter"
      }
    }
    }
  }
}
get my_index/_analyze
{
  "analyzer":"my_analyzer",
  "text":"<p>你好<h1><a>小明</a></h2>"
}

Mapping

自定义过滤器

json 复制代码 
put my_index1
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_filter": {
          "type": "mapping",
          "mappings":[
            "你 => *",
            "滚 => *"
            ]
        }
      },
      "analyzer": {
      "my_analyzer": {
        "tokenizer": "keyword",
        "char_filter": "my_filter"
      }
    }
    }
  }
}
get my_index1/_analyze
{
  "analyzer":"my_analyzer",
  "text":"你好，滚"
}

Patten Replace

正则替换，通过正则替换掉指定部分

json 复制代码 
put my_index2
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_filter": {
          "type": "pattern_replace",
          "pattern":"(\\d{3})\\d{4}(\\d{4})",
          "replacement":"$1****$2"
        }
      },
      "analyzer": {
      "my_analyzer": {
        "tokenizer": "keyword",
        "char_filter": "my_filter"
      }
    }
    }
  }
}
get my_index2/_analyze
{
  "analyzer":"my_analyzer",
  "text":"15012345678"
}

令牌过滤器

灵牌过滤器有很多中，如转大小写，近义词等。参考官网 https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-thai-tokenizer.html

json 复制代码 
//近义词
put my_index2
{
  "settings": {
    "analysis": {
      "filter": {
        "my_filter": {
          "type": "synonym",
          "synonyms":["你好=>hello","小明 =>xiaoming"]
        }
      },
      "analyzer": {
      "my_analyzer": {
        "tokenizer": "keyword",
        "filter": ["my_filter"]
      }
    }
    }
  }
}
get my_index2/_analyze
{
  "analyzer":"my_analyzer",
  "text":"你好"
}
//转小写
get my_index2/_analyze
{
  "tokenizer":"standard",
  "filter":["lowercase"],
  "text":["ABCDE"]
}

自定义分析器

  1. 自定义的字符串过滤器、令牌过滤器、分词器都要定义名字
  2. 过滤器、令牌过滤器可定义多个
json 复制代码 
put my_index 
{
  "settings":{
    "analysis":{
      //自定义字符串过滤器
      "char_filter":{
        "my_char_filter":{
          "type":"mapping",
          "mappings":["& => and","| => or"]
        }
        
      },
      //自定义令牌过滤器
      "filter":{
        "my_filter":{
          "type":"stop",
          "stopwords":[
            "is",
            "in",
            "the",
            "a",
            "at"
            ]
        }
      },
      //自定义分词器
      "tokenizer":{
        "my_tonenizer":{
        "type":"pattern",
        "pattern":"[ ,.!?]"
        }
      },
      //自定义分析器，将自定义字符串过滤器、自定义令牌过滤器、自定义分词器赋值给分析器
      "analyzer":{
        "my_analyzer":{
          "type":"custom",
          "char_filter":["my_char_filter"],  //字符串过滤器可定义多个
          "filter":["my_filter"],    //自定义令牌过滤器可支持多个
          "tokenizer":"my_tonenizer"
        }
      }
    }
  }
}
get my_index/_analyze
{
  "analyzer":"my_analyzer",
  "text":"hello && hello | | word  is me the word ! how are you ? and me ,,,"
}

中文分词器（IK)

安装

在ES的plugins文件夹下创建ik文件夹，将ik分词器压缩包压缩，重启

两种分词方式

  1. ik_max_word:分词颗粒高
  2. id_smart:分词颗粒低
json 复制代码 
get my_index/_analyze
{
  "analyzer":"ik_max_word",
  "text":"我爱你中华人民共和国"
}

get my_index/_analyze
{
  "analyzer":"ik_smart",
  "text":"我爱你中华人民共和国"
}

结果：

json 复制代码 
{
  "tokens": [
    {
      "token": "我爱你",
      "start_offset": 0,
      "end_offset": 3,
      "type": "CN_WORD",
      "position": 0
    },
    {
      "token": "爱你",
      "start_offset": 1,
      "end_offset": 3,
      "type": "CN_WORD",
      "position": 1
    },
    {
      "token": "中华人民共和国",
      "start_offset": 3,
      "end_offset": 10,
      "type": "CN_WORD",
      "position": 2
    },
    {
      "token": "中华人民",
      "start_offset": 3,
      "end_offset": 7,
      "type": "CN_WORD",
      "position": 3
    },
    {
      "token": "中华",
      "start_offset": 3,
      "end_offset": 5,
      "type": "CN_WORD",
      "position": 4
    },
    {
      "token": "华人",
      "start_offset": 4,
      "end_offset": 6,
      "type": "CN_WORD",
      "position": 5
    },
    {
      "token": "人民共和国",
      "start_offset": 5,
      "end_offset": 10,
      "type": "CN_WORD",
      "position": 6
    },
    {
      "token": "人民",
      "start_offset": 5,
      "end_offset": 7,
      "type": "CN_WORD",
      "position": 7
    },
    {
      "token": "共和国",
      "start_offset": 7,
      "end_offset": 10,
      "type": "CN_WORD",
      "position": 8
    },
    {
      "token": "共和",
      "start_offset": 7,
      "end_offset": 9,
      "type": "CN_WORD",
      "position": 9
    },
    {
      "token": "国",
      "start_offset": 9,
      "end_offset": 10,
      "type": "CN_CHAR",
      "position": 10
    }
  ]
}
json 复制代码 
{
  "tokens": [
    {
      "token": "我爱你",
      "start_offset": 0,
      "end_offset": 3,
      "type": "CN_WORD",
      "position": 0
    },
    {
      "token": "中华人民共和国",
      "start_offset": 3,
      "end_offset": 10,
      "type": "CN_WORD",
      "position": 1
    }
  ]
}

IK文件描述

  1. IKAnalyzer.xml：ik配置文件
  2. main.dic:主词库
  3. stopword.dic:英文停用词
  4. 特殊词库
  5. quantifier.dic:计量单位
  6. suffix.dic:行政单位
  7. surname.dic:百家姓
  8. prepositoin:语气词

自定义词库

在配置文件中配置，多个词典可用分号分开

xml 复制代码 
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">aaa.dic;bbb.dic</entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords"></entry>
	<!--用户可以在这里配置远程扩展字典 -->
	<!-- <entry key="remote_ext_dict">words_location</entry> -->
	<!--用户可以在这里配置远程扩展停止词字典-->
	<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

热更新

两种方式：基于远程词库和基于数据库

基于远程词库

  1. 修改配置文件，将remote_ext_dict或remote_ext_stopwords标签内属性换成rest接口地址
xml 复制代码 
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">aaa.dic;bbb.dic</entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords"></entry>
	<!--用户可以在这里配置远程扩展字典 -->
	<!-- <entry key="remote_ext_dict">words_location</entry> -->
	<!--用户可以在这里配置远程扩展停止词字典-->
	<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>
  1. 接口要求
  1. http请求需要返回两个header,一个是Last-Modified,一个是ETag,两个都是字符串，只要一个有变化，ik就会抓取新的词库
  2. 该http请求返回的是一行一个分词，用\n换行
  3. 可以将自动更新的热词放到要给UTF-8编码的.txt文件中，放到nginx或者http server下，当.txt文件修改时候，http server会在客户端请求该文件时自动返回Last-modify和ETag。可以从另一个业务系统提取相关词汇并更新.txt文件
  4. .txt文件也可以是.dic文件
  5. IK默认一分钟获取一次
  1. 接口
java 复制代码 
@RestController
public class Test {

    @GetMapping("hotWord")
    public void hostWord(HttpServletResponse response){
        File file = new File("/my_word");
        FileInputStream fis = null;
        try {
            fis = new FileInputStream(file);
            byte[] bytes = new byte[(int) file.length()];
            response.setDateHeader("Last-modify",bytes.length);
            response.setDateHeader("ETag",bytes.length);
            response.setContentType("text/plain;charset=utf-8");
            int offset = 0;
            while (fis.read(bytes,offset,bytes.length - offset) != -1){}
            ServletOutputStream out = response.getOutputStream();
            out.write(bytes);
            out.flush();
            fis.close();
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }
}

基于Mysql

  1. 修改IK源码，在initial方法中自定义从数据库读取词的方法。
  2. 打包替换ES中原先的IK
相关推荐
LightOfNight2 分钟前
【后端面试题】【中间件】【NoSQL】ElasticSearch的优化方案2（减少字段、冷热分离、参数优化）
分布式·后端·elasticsearch·中间件·架构·nosql
天才的白鸟23 分钟前
mapreduce实现bean的序列化与反序列化
大数据·hadoop·分布式
四季予你661 小时前
大数据期末复习——hadoop、hive等基础知识
大数据·hive·hadoop
小的~~1 小时前
大数据面试题之Flink(2)
大数据·flink
ui设计前端开发工作室1 小时前
移动端 UI 风格展现科技之美
大数据·科技·性能优化·架构·云计算·边缘计算
FISCO_BCOS1 小时前
【区块链+基础设施】国家健康医疗大数据科创平台 | FISCO BCOS应用案例
大数据·区块链·健康医疗
环保水环境ShuiZhuanWei2 小时前
吴晓波：企业出海的最佳时间窗口只有5-10年，中国企业如何把握出海机遇？
大数据
我非夏日2 小时前
基于Hadoop平台的电信客服数据的处理与分析①项目准备阶段---项目技术预研（技术架构）
大数据·hadoop·架构·大数据项目
我非夏日2 小时前
基于Hadoop平台的电信客服数据的处理与分析①项目准备阶段---项目需求描述
大数据·大数据技术开发·大数据项目·电信客服数据的处理与分析
小的~~2 小时前
大数据面试题之Kafka(5)
大数据·分布式·kafka
热门推荐
01Coze扣子平台完整体验和实践（附国内和国际版对比）02组基轨迹建模 GBTM的介绍与实现（Stata 或 R）03【经验分享】Ubuntu22.04安装微信(linux官方版)042025张宇考研数学，百度网盘视频课+36讲PDF讲义+真题05【立创EDA-PCB设计基础】6.布线铺铜实战及细节详解06yolov8实战第五天——yolov8+ffmpg实时视频流检测并进行实时推流——（推流，保姆教学）0751-2 万字长文，深度解读端到端自动驾驶的挑战和前沿08通达信神奇九转指标原理及选股公式，无未来函数，数字不消失09浏览器插件——ModHeader 的分享和学习10＜工控＞＜PLC＞汇川Easy521系列PLC与汇川SV630N伺服进行EtherCat通讯的相关配置及指令编写