ES 安装IK分词器

原有问题

默认按照逐个单词分词,而不是此词组

Dev Tools - Elastic

bash 复制代码
# 测试分词器
POST /_analyze
{
  "text": "To learn about how usage data helps us manage and improve our products and services, see our Privacy Statement(opens in a new tab or window). To stop collection, disable usage data here."
}

安装分词器

ES 环境搭建

参考:ES 基本操作 - 掘金 (juejin.cn)

控制台分别输入:

javascript 复制代码
docker run -d --name es -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" -e "discovery.type=single-node"  -v es-data:/usr/share/elasticsearch/data -v es-plugins:/usr/share/elasticsearch/plugins  --privileged  --network es-net -p 9200:9200  -p 9300:9300 elasticsearch:8.8.2
arduino 复制代码
docker run -d --name kibana -e ELASTICSEARCH_HOSTS=http://es:9200 --network=es-net -p 5601:5601 kibana:8.8.2

IK下载地址

Releases · medcl/elasticsearch-analysis-ik · GitHub

IK安装

查看 es-plugins 地址 : docker volume inspect es-plugins

在win中地址可能不一样,位置可参考如下路径:

\\wsl$\docker-desktop-data\data\docker\volumes\es-plugins\_data

相关文档推荐:

Docker Desktop for Windows(WSL 2 方式)数据卷存放位置及如何访问_windiws上docker创建的数据库放在那里_4CTOR的博客-CSDN博客

将IK包放入es-plugin_data文件夹内,并改名为 ik

重启es :docker restart es

种类

  • ik_smart:粗粒分词,分出的词相对较少,但占用内存空间也较少
  • ik_max_word:最细切分,分出的词相对更细,但占用内存空间也更多

ES-IK分词器拓展和停用词典

IKAnalyzer.cfg.xml:扩展和通用词典文件所在位置配置

ext.dic:IKAnalyzer.cfg.xml中配置的扩展词典

stopword.dic:IKAnalyzer.cfg.xml中配置的停用词典

为什么要配置扩展词典和停用词典?

扩展词典:可能会有一些全新词IK分词器之前并没有加入到词典中,这时候就需要我们配置一些新出现的词,IK分词器才能在分词的时候把他们当做一个词来看待。如:绝绝子,鲲鲲等

停用词典:敏感词屏蔽

自定义词典

更多

Elasticsearch 英文分词 & 中文分词 - 知乎 (zhihu.com)

相关推荐
铁皮饭盒3 小时前
这6个小模型各有绝活, 且都可cpu/浏览器端运行
前端·后端
qq_406981034 小时前
大白话rust系列08 当变量遮蔽遇上引用,探究变量遮蔽的本质
开发语言·后端·rust
喵了几个咪4 小时前
GoWind ShortPlay 拆解:不用模型的推荐闭环——埋点回流、三路召回与已看去重
开发语言·后端·微服务·golang·gowind
SimonKing5 小时前
又找到一个纯Java的OCR项目,识别的格式还挺多
java·后端·程序员
程序猿DD5 小时前
OctaFuse Gateway 2.17.0:新增维护模式、请求日志汇总、DashScope 语音路由拆分
后端
陈随易6 小时前
副业搞钱点子之赛事与活动
前端·后端·程序员
Profile排查笔记6 小时前
有哪些开源指纹浏览器项目?先核对客户端、内核与许可证
前端·人工智能·后端·自动化
鶴哥只手遮天6 小时前
雷达系统与成像仿真:从电磁散射到工程实现-第 1 章 雷达系统的分层架构与指标闭环
后端
喵了几个咪6 小时前
GoWind UBA 拆解:把 Doris UNIQUE KEY 翻译成 ClickHouse——读数正确性对齐实录
开发语言·后端·clickhouse·微服务·golang·gowind
王中阳Go6 小时前
面试官问什么,取决于你简历上写了什么:后端转 Agent 岗的项目准备法
后端·面试·agent