es拼音分词器(仅供自己参考)

github地址:https://github.com/infinilabs/analysis-pinyin(各种版本,对接es版本)

拼音分词器存在的问题:

1、是直接将每个字的拼音返回和一段话的拼音首字母返回,不能很好的分词。

2、不会保留中文,转为拼音之后,没有中文存在。

自定义分词器

默认的拼音分词器会将每个汉字单独分为拼音,而我们希望的是每个词条形成一组拼音,需要对拼音分词器做个性化定制,形成自定义分词器。

elasticsearch中分词器(analyzer)的组成包含三部分:

1、 character filters:在tokenizer之前对文本进行处理。例如删除字符、替换字符

2、tokenizer:将文本按照一定的规则切割成词条(term)。例如keyword,就是不分词;还有ik_smart

3、tokenizer filter:将tokenizer输出的词条做进一步处理。例如大小写转换、同义词处理、拼音处理等

文档分词时会依次由这三部分来处理文档:

自定义分词器的配置:(只能是相应的索引库使用,创建了test索引库,那么自定义的只能在这个索引库中使用。不能在其他索引库中使用)

bash 复制代码
#自定义分词器,在ik和py的基础上自定义
PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": { 
        "my_analyzer": { 
          "tokenizer": "ik_max_word",        #分词用ik
          "filter": "py"            #配置拼音分词器
        }
      },
      "filter": {
        "py": { 
          "type": "pinyin",        #拼音分词器
          "keep_full_pinyin": false,         #   关闭了单个字符的转为拼音
          "keep_joined_full_pinyin": true,    #开启了词语的拼音转换
          "keep_original": true,                #保留中文
          "limit_first_letter_length": 16,        #首字母的长度小于16
          "remove_duplicated_term": true,        #去除重复的
          "none_chinese_pinyin_tokenize": false    #禁止除中文以为的其他语言转为拼音
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name":{
        "type": "text",
        "analyzer": "my_analyzer",
        "search_analyzer": "ik_smart"
      }
    }
  }
}

为了避免搜索的时候使用拼音搜到同音词,所以在搜索的时候使用ik分词器"search_analyzer": "ik_smart"

相关推荐
艾莉丝努力练剑2 小时前
【Linux信号】Linux进程信号(中):信号保存、信号处理(含“OS是如何运行的?”)
大数据·linux·运维·服务器·数据库·c++·mysql
无忧智库3 小时前
再生资源行业的数字涅槃:SAP如何驱动“制造+服务”一体化转型(PPT)
大数据·制造
跨境猫小妹3 小时前
供应链交付不稳定跨境卖家如何建立备选供应商
大数据·人工智能·产品运营·跨境电商·营销策略
User_芊芊君子3 小时前
大数据时代时序数据库选型指南:Apache IoTDB技术解析与实践建议
大数据·apache·时序数据库
学习使我快乐——玉祥3 小时前
ElasticSearch离线安装
大数据·elasticsearch·jenkins
雷焰财经3 小时前
首都在线海外大带宽筑基,加速大模型出海全球化进程
大数据·人工智能
2501_943610363 小时前
合肥SEO优化:深耕本地流量,助力皖企精准获客长效增长
搜索引擎
2301_766558653 小时前
企业AI获客技术落地:矩阵跃动小陌GEO本地部署与云端优化的协同实现方案
大数据·人工智能·矩阵
2501_943124053 小时前
实测数据:矩阵跃动小陌GEO+龙虾机器人,助力企业AI搜索曝光提升3倍+的技术实践
大数据·人工智能
小陈工3 小时前
Python测试实战:单元测试、集成测试与性能测试全解析
大数据·网络·数据库·人工智能·python·单元测试·集成测试