elasticsearch中文分词器analysis-ik使用及修改分词器名称

针对analysis-ik我就不具体介绍了,我个人主要认为它的有点有:

1.java开发,方便修改源码(比如文件内容加密,或者其他特定的分词处理)

2.中文分词效果比较好

3.配置文件响相对于简单

ik下载地址:

https://release.infinilabs.com/analysis-ik/stable/

网上很多让你在服务器上下载或者定位到githup上的我觉得都不太好,不够清晰

上面收录了各个版本es对应的ik分词器版本,特别注意

*******es版本要严格对应ik版本********

比如es为6.3.2那么ik也要下载6.3.2

源码地址

https://github.com/infinilabs/analysis-ik/tree/6.x?tab=readme-ov-file#versions

因为es之前 已经用了一个ik插件修改了一些源码进行了一些加密等等的处理,但是现在想要保持上一个ik插件的特性的情况下,在用一个正常的ik插件,所以需要将第二个ik插件更改名称防止两个插件发生冲突。

1.需要修改源码箭头部分改为自己ik插件的名字:

java 复制代码
public class AnalysisIkPlugin extends Plugin implements AnalysisPlugin {

	public static String PLUGIN_NAME = "analysis-test-ik";

    @Override
    public Map<String, AnalysisModule.AnalysisProvider<TokenizerFactory>> getTokenizers() {
        Map<String, AnalysisModule.AnalysisProvider<TokenizerFactory>> extra = new HashMap<>();


        extra.put("ik_smart_test", IkTokenizerFactory::getIkSmartTokenizerFactory);
        extra.put("ik_max_word_test", IkTokenizerFactory::getIkTokenizerFactory);

        return extra;
    }

    @Override
    public Map<String, AnalysisModule.AnalysisProvider<AnalyzerProvider<? extends Analyzer>>> getAnalyzers() {
        Map<String, AnalysisModule.AnalysisProvider<AnalyzerProvider<? extends Analyzer>>> extra = new HashMap<>();

        extra.put("ik_smart_test", IkAnalyzerProvider::getIkSmartAnalyzerProvider);
        extra.put("ik_max_word_test", IkAnalyzerProvider::getIkAnalyzerProvider);

        return extra;
    }

}

2.修改pom文件(改为自己的名称)

XML 复制代码
    <properties>
        <elasticsearch.version>6.3.2</elasticsearch.version>
        <maven.compiler.target>1.8</maven.compiler.target>
        <elasticsearch.assembly.descriptor>${project.basedir}/src/main/assemblies/plugin.xml</elasticsearch.assembly.descriptor>
        <elasticsearch.plugin.name>analysis-test-ik</elasticsearch.plugin.name>
        <elasticsearch.plugin.classname>org.elasticsearch.plugin.analysis.ik.AnalysisIkPlugin</elasticsearch.plugin.classname>
        <elasticsearch.plugin.jvm>true</elasticsearch.plugin.jvm>
        <tests.rest.load_packaged>false</tests.rest.load_packaged>
        <skip.unit.tests>true</skip.unit.tests>
        <gpg.keyname>4E899B30</gpg.keyname>
        <gpg.useagent>true</gpg.useagent>
    </properties>

然后在es的plugins/按照不同名称把两个ik放在不同名字的目录下,通过不同的分词方法,调用两个不同的ik分词器。

相关推荐
IT新视界9 小时前
大数据开发工具-Transwarp Data Studio
大数据
donoot9 小时前
Linux系统下图书馆级电子书全自动标准化分类整理完整实施方案
大数据·linux·运维·电子书管理
Elastic 中国社区官方博客10 小时前
如何比较两个 Elasticsearch 索引并找出缺失的文档
大数据·运维·数据库·elasticsearch·搜索引擎
xixixi7777710 小时前
三大 AI 安全里程碑:Akamai 高危风险预警、智能体水印强制落地、PQC 量子安全全产业链统一
大数据·人工智能·安全·ai·大模型·智能体·政策
imbackneverdie12 小时前
AI4S不止于分子药物:以MedPeer为代表的科研基建打开产业新增量
大数据·人工智能·算法·aigc·科研·学术·ai 4s
ApacheSeaTunnel13 小时前
为什么 Data Ingestion 还没有被 Fivetran/Airbyte 完全解决?
大数据·开源·数据集成·seatunnel·技术分享·数据同步·airbyte·fivetran
启雀AI14 小时前
科技企业如何沉淀研发知识,减少重复开发和经验流失?
大数据·科技·软件需求·知识库·知识管理
大大大大晴天14 小时前
Hudi技术内幕:Schema Evolution原理与实践
大数据
kiros_wang14 小时前
ExploreYC 新手快速入门与实战指南
大数据·人工智能·物联网
阿里云大数据AI技术14 小时前
Elasticsearch 智能助手:Agent 让运维从经验驱动迈向智能协同
人工智能·elasticsearch·agent