Java实现简单的搜索引擎

一、准备工作

在开始实现搜索引擎之前，需要准备以下工作：

编译环境：需要在本地安装JDK环境，并配置好对应的环境变量。
Maven管理工具：Maven是一个Java项目管理工具，能够自动下载所需的依赖库，并管理项目的编译、测试、打包等过程。
Lucene搜索引擎库：Lucene是一种高效的文本搜索引擎库，它提供了全文检索、模糊搜索、分词等功能，是实现搜索引擎的核心组件。

二、创建项目

1. 引入Lucene库

|---------------------------------------------------------------------------------------------------------------------------------------|
| <dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-core</artifactId> <version>8.8.2</version> </dependency> |

2. 添加引用

|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| import java.io.File; import java.io.IOException; import java.nio.file.Paths; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.document.StringField; import org.apache.lucene.document.TextField; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.queryparser.classic.MultiFieldQueryParser; import org.apache.lucene.queryparser.classic.ParseException; import org.apache.lucene.queryparser.classic.QueryParser; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.TopDocs; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; |

三、实现功能

1. 创建索引

将指定目录下的所有文件创建索引，其中文件名和内容会被添加到索引中。

|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| public static void createIndex(String indexDir, String dataDir) throws IOException { Analyzer analyzer = new StandardAnalyzer(); // 创建分词器 Directory dir = FSDirectory.open(Paths.get(indexDir)); // 创建索引目录 IndexWriterConfig config = new IndexWriterConfig(analyzer); // 创建索引配置 IndexWriter writer = new IndexWriter(dir, config); // 创建索引写入器 File[] files = new File(dataDir).listFiles(); // 获取数据文件列表 for (File file : files) { if (!file.isDirectory() && !file.isHidden() && file.exists() && file.canRead()) { Document doc = new Document(); // 创建文档 doc.add(new StringField("filename", file.getName(), Field.Store.YES)); // 添加文件名字段 doc.add(new TextField("content", new String(Files.readAllBytes(file.toPath())), Field.Store.NO)); // 添加文件内容字段 writer.addDocument(doc); // 写入索引 } } writer.commit(); // 提交写入 writer.close(); // 关闭写入器 } |

2. 搜索文件

该方法会执行搜索，并输出匹配的文件名。

|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| public static void search(String indexDir, String queryStr, int maxHits) throws IOException, ParseException { Analyzer analyzer = new StandardAnalyzer(); // 创建分词器 Directory dir = FSDirectory.open(Paths.get(indexDir)); // 创建索引目录 IndexReader reader = DirectoryReader.open(dir); // 创建索引读取器 IndexSearcher searcher = new IndexSearcher(reader); // 创建索引搜索器 String[] fields = {"filename", "content"}; // 指定搜索字段 QueryParser parser = new MultiFieldQueryParser(fields, analyzer); // 创建多字段查询解析器 parser.setDefaultOperator(QueryParser.Operator.OR); // 指定搜索模式 TopDocs hits = searcher.search(parser.parse(queryStr), maxHits); // 执行搜索 System.out.println("Total hits: " + hits.totalHits.value); // 输出结果总数 for (ScoreDoc scoreDoc : hits.scoreDocs) { Document doc = searcher.doc(scoreDoc.doc); // 获取匹配的文档 System.out.println("File name: " + doc.get("filename")); // 输出匹配的文件名 } } |

3. 示例说明

以下是两条实现搜索引擎的示例说明。

1. 搜索本地文件

假设我们需要搜索本地C盘下的所有txt文件，我们可以使用以下代码：

2. 搜索网络数据

假设我们需要从某个网站中搜索所有包含关键字的链接，我们可以使用以下代码：