es-ik分词器的拓展和停用字典

目录

一、分词器


一、分词器

  • 分词器的作用是什么?

创建倒排索引时对文档分词

用户搜索时,对输入的内容分词

  • IK分词器有几种模式?

ik_smart:智能切分,粗粒度

ik_max_word:最细切分,细粒度

  • IK分词器如何拓展词条?如何停用词条?

利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典

在词典中添加拓展词条或者停用词条

ik分词器-拓展词库

要拓展ik分词器的词库,只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfq.xml文件

<?xml version="1." encoding="UTF-8"?>

<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">

<properties>

<comment>IK Analyzer 扩展配置</comment>

<!--用户可以在这里配置自己的扩展字典 *** 添加扩展词典-->

<entry key="ext_dict">ext.dic</entry>

</properties>

ik分词器-停用词库

要禁用某些敏感词条,只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfq.xml文件

<?xml version="1." encoding="UTF-8"?>

<!DOCTYPE properties SYSTEM "http://javasun.com/dtd/properties.dtd">

<properties>

<comment>IK Analyzer 扩展配置</comment>

<!--用户可以在这里配置自己的扩展字典-->

<entry key="ext_dict">ext.dic</entry>

<!--用户可以在这里配置自己的扩展停止词字典 *** 添加停用词词典-->

<entry key="ext_stopwords">stopword.dic</entry>

</properties>

二、分词器字典的扩展与停用

2.1 打开IkAnalyzer.cfq.xml文件

添加扩展词字典、停止词字典

2.2 在同级目录下新建 ext.dic 文件(扩展词)
2.3 在同级目录下找到 stopword.dic 文件(禁用词)并编辑,用于禁用分词
2.4 重启即可完成
相关推荐
狮歌~资深攻城狮14 分钟前
ClickHouse进阶技巧:解锁数据处理的高级潜能
大数据·数据库
王佑辉2 小时前
【mongodb】mongodb和MySQL体系结构的对比
mysql·mongodb
DDDiccc2 小时前
SpringCloud微服务(一)Eureka+Nacos
java·spring cloud·微服务
业财猫CRM2 小时前
“乐企“平台如何重构业财税票全流程生态?
大数据·重构·业界资讯
钡铼技术物联网关3 小时前
下一代楼宇自控的中枢神经:ARM终端的生态
大数据·linux·人工智能
Jambo!3 小时前
Ubuntu MySql没有初始密码,重新设置root密码
mysql·ubuntu
青云交3 小时前
Java 大视界 -- Java 大数据在智慧水利水资源调度与水情预测中的应用创新(180)
大数据·数据分析·智慧水利·数据管理·实时处理·水资源调度·水情预测
不剪发的Tony老师4 小时前
rqlite:一个基于SQLite构建的分布式数据库
数据库·分布式·sqlite
睎zyl4 小时前
Hadoop的序列化
大数据·hadoop·分布式
·薯条大王4 小时前
MySQL视图
大数据·数据库·mysql