Java8 API文档搜索引擎_3.搜索模块(程序)

文档搜索引擎模块划分(第一篇)见系列文章:

https://blog.csdn.net/m0_63299495/article/details/145805937?spm=1011.2415.3001.5331https://blog.csdn.net/m0_63299495/article/details/145805937?spm=1011.2415.3001.5331

索引模块程序见下文:

https://blog.csdn.net/m0_63299495/article/details/157515700?spm=1011.2415.3001.5331https://blog.csdn.net/m0_63299495/article/details/157515700?spm=1011.2415.3001.5331

本文为搜索模块程序篇。


目录

[4.1 DocSearcher类](#4.1 DocSearcher类)

[4.1.1 DocSearcher类实现逻辑](#4.1.1 DocSearcher类实现逻辑)

[4.1.2 DocSearcher类程序](#4.1.2 DocSearcher类程序)

[4.2 封装Result类](#4.2 封装Result类)


4.1 DocSearcher类

4.1.1 DocSearcher类实现逻辑

分词:对查询词query进行分词;

触发:针对分词结果查倒排索引;

排序:针对出发结果按照权重降序排序;

包装结果:针对排序的结果查正排索引,包装要返回的数据

4.1.2 DocSearcher类程序

java 复制代码
import org.ansj.domain.Term;
import org.ansj.splitWord.analysis.ToAnalysis;

import java.util.ArrayList;
import java.util.Comparator;
import java.util.List;
import java.util.Scanner;

// 实现搜索过程
public class DocSearcher {
    // 定义索引对象实例,并完成索引加载(使用构造方法完成)
    private Index index = new Index();
    public DocSearcher(){
        index.load();
    }
    public List<Result> search(String query){
        // 1. 对查询词query进行分词
        List<Term> terms= ToAnalysis.parse(query).getTerms();
        // 2. 针对分词结果查倒排索引
        List<Weight> allTermResult = new ArrayList<>();
        for(Term term: terms){
            String word = term.getName();
            List<Weight> invertedList = index.getInverted(word);
            // 词在文档中不存在,则跳过本次循环
            if(invertedList == null)
                continue;
            allTermResult.addAll(invertedList);
        }
        // 3. 针对出发结果按照权重降序排序
        allTermResult.sort(new Comparator<Weight>() {
            @Override
            public int compare(Weight o1, Weight o2) {
                return o2.getWeight()-o1.getWeight();  // 降序
                // 若为升序,则返回o1.getWeight()-o2.getWeight()
            }
        });
        // 4. 针对排序的结果查正排索引,包装要返回的数据
        List<Result> results = new ArrayList<>();
        for(Weight weight: allTermResult){
            DocInfo docInfo = index.getDocInfo(weight.getDocId());
            Result result = new Result();
            result.setTitle(docInfo.getTitle());
            result.setUrl(docInfo.getUrl());
            // 描述是正文的一段摘要
            result.setDesc(GenDesc(docInfo.getContent(),terms));
            results.add(result);
        }
        return results;
    }

}

由于desc描述是content正文的一段摘要,故而单独封装一个Genedsc方法:

java 复制代码
   // 根据正文生成描述
    private String GenDesc(String content, List<Term> terms){
        int firstPos = -1;
        // 在content中查找存在的分词结果
        for(Term term: terms){
            String word = term.getName();
            firstPos = content.toLowerCase().indexOf(" "+word+" ");
            if(firstPos >= 0)
                break;
        }
        if(firstPos == -1){
            // 所有分词结果都不在正文结果中
            // 直接取正文前160个字符作为描述
            return content.substring(0, 160)+"...";
        }
        // 从firstPos作为基准,向前找160个字符作为描述的起始位置
        String desc = "";
        int descBeg = firstPos < 60 ? 0 : firstPos - 60;
        if(descBeg + 160 > content.length()){
            desc = content.substring(descBeg);
        }else{
            desc = content.substring(descBeg, descBeg+160)+"...";
        }
        return desc;
    }

4.2 封装Result类

java 复制代码
// 表示搜索结果
public class Result {
    private String title;
    private String url;
    // 描述是正文的一段摘要
    private String desc;
// 省略Getter和Setter方法
    @Override
    public String toString() {
        return "Result{" +
                "title='" + title + '\'' +
                ", url='" + url + '\'' +
                ", desc='" + desc + '\'' +
                '}';
    }
}

注:在main方法中需要测试DocSearcher根据查询词查询功能,需要输出描述,故而需要重写toString方法。

相关推荐
Android出海13 小时前
安卓新机初始设置无法选择默认搜索引擎,谷歌遭瑞士竞争监管机构调查
搜索引擎·谷歌浏览器·android系统·安卓系统·安卓手机·谷歌搜索·谷歌引擎
老陈头聊SEO15 小时前
生成引擎优化(GEO)在数字内容创作中的优势与创新实践
其他·搜索引擎·seo优化
豆瓣鸡17 小时前
Elasticsearch IK 分词器自定义词典——扩展词、停用词、热更新、同义词
大数据·elasticsearch·搜索引擎
码上上班1 天前
Elasticsearch课程
大数据·elasticsearch·搜索引擎
Achou.Wang1 天前
《从零实现cobra》手写一个 mini 版 Cobra
大数据·elasticsearch·搜索引擎
TlSfoward2 天前
TLSFOWARD TLS指纹
开发语言·数据库·爬虫·搜索引擎·https·php
言乐63 天前
Python实现基本搜索引擎
java·linux·开发语言·python·搜索引擎
冬奇Lab3 天前
开源项目第163期:wigolo — 零 API Key、零费用的本地优先 Agent 网络搜索工具,对比 Tavily/Exa/Firecrawl
人工智能·搜索引擎·开源
五条凪4 天前
简单理解 BM25 与 TF-IDF
人工智能·算法·搜索引擎·全文检索·tf-idf
科技大视界4 天前
四川第柒帧文化传播有限公司简介:AIGC影视、TVC广告、文旅品牌宣传与人才培养
搜索引擎·aigc