soap-search地址
- gitHub: github.com/Soap13/Soap...
- gitee: gitee.com/0X00000000/...
往期回顾
文件读取优化
面临问题
- 1.文件会很大，因为文件会一直增加的，这里就需要解决的问题是存储压缩问题。
- 1.1（目前这里soap-search的demo基本没采用什么压缩办法，只是最基本的把文件写入和解析出来；额外的处理就是对词频的位置记录采用了差值规则，数据长度采用Lucene里面的Vint类型）
- 2.倒排的文件加载速度也要尽可能提升，不然影响搜索的响应体验不好
- 2.1今天分享下对文件读取采用的小技巧
- 2.2为什么这里很重要因为词频的数据量很大（因为我这里做了跟域的关联可能导致进一步的加大）
- 3.对于文件的结构需要设计合理的组织和关联，这对于文件的读写也产生了要求，因为结构复杂了那么实现的难度就变大了。
- 3.1.基本只是把关系简单的搞下，能跑通demo的状况（下面这个图之前画的上次不知道为什么没加载上去-_-
读取的优化
- 1.词频本来是个单独文件，（优化的时候借鉴了文档与域的关联关系，我也添加了个文件记录了下词频的位置，为后面多线程解析作下准备）
- 2.首先是文件的加载，之前是一点一点数据结构的读取。
- 2.1我这里首先采用了极端的方法一次性先把文件都加载上来进来，然后再解析。（这样文件的读取解析有很大的提升了，但是会消耗点内存）
- 2.2这里我也做了个折中的处理先指定特定的长度去加载文件（因为我们记录的有词频的位置，这样加载的长度是可以计算出来的，再加上初始的偏移量我们就可以准确的先加载内容再去处理数据了，这样解析的提取的内容也不会出错）
- 2.3这样处理后效果很明显。
java
public void readAllFile() throws IOException {
long startTime = System.currentTimeMillis(); // 记录开始时间
long position = 0;
ByteArrayOutputStream baos = new ByteArrayOutputStream();
while (position < fileLength) {
// 对齐到页边界
long alignedPos = alignToPage(position);
// 读取一页大小数据;这里默认读取了4个页内容
ByteBuffer buffer = ByteBuffer.allocate(IndexReaderPage.BUFFER_SIZE);
raf.getChannel().position(alignedPos);
int bytesRead = raf.getChannel().read(buffer);
// 处理 buffer 数据...
if (bytesRead > 0) {
buffer.flip();
position+=buffer.remaining();
appendBuffer(baos, buffer);
// Log.info("读取位置:{},实际读取字节数:{}",alignedPos, bytesRead);
}
position = alignedPos + IndexReaderPage.BUFFER_SIZE; // 移动到下一页
}
currentBuffer=baos.toByteArray();
Log.info("===文件提取耗时：{}ms",(System.currentTimeMillis()-startTime)); // 记录开始时间);
}
private static void appendBuffer(ByteArrayOutputStream output, ByteBuffer buffer) {
byte[] array = new byte[buffer.remaining()];
buffer.get(array);
output.write(array, 0, array.length);
}
private static long alignToPage(long offset) {
return (offset / IndexReaderPage.BUFFER_SIZE) * IndexReaderPage.BUFFER_SIZE;
}最后测试的效果吧
测试数据是部分文档重复写入，词频已经达到百万了
txt
2025-06-01 12:49:30,383 [main] INFO INFO c.s.s.s.DocumentReader:28 - 线程池初始化预热...
2025-06-01 12:49:30,393 [main] INFO INFO c.s.s.s.DocumentReader:120 - 词频开始提取...
2025-06-01 12:49:30,414 [main] INFO INFO c.s.s.s.IndexReaderPage:104 - ===文件提取耗时：19ms
2025-06-01 12:49:30,417 [main] INFO INFO c.s.s.s.DocumentReader:133 - 词频个数:1141380
2025-06-01 12:49:30,484 [pool-3-thread-4] INFO INFO c.s.s.s.DocumentReader:191 - 线程 [pool-3-thread-4] 正在处理任务 #4
2025-06-01 12:49:30,484 [pool-3-thread-2] INFO INFO c.s.s.s.DocumentReader:191 - 线程 [pool-3-thread-2] 正在处理任务 #2
2025-06-01 12:49:30,484 [pool-3-thread-1] INFO INFO c.s.s.s.DocumentReader:191 - 线程 [pool-3-thread-1] 正在处理任务 #1
2025-06-01 12:49:30,484 [pool-3-thread-3] INFO INFO c.s.s.s.DocumentReader:191 - 线程 [pool-3-thread-3] 正在处理任务 #3
2025-06-01 12:49:30,486 [pool-3-thread-4] INFO INFO c.s.s.s.IndexReaderPage:104 - ===文件提取耗时：0ms
2025-06-01 12:49:30,489 [pool-3-thread-4] INFO INFO c.s.s.s.DocumentReader:221 - 线程 [pool-3-thread-4] 完成任务 #4
2025-06-01 12:49:30,506 [pool-3-thread-2] INFO INFO c.s.s.s.IndexReaderPage:104 - ===文件提取耗时：21ms
2025-06-01 12:49:30,508 [pool-3-thread-1] INFO INFO c.s.s.s.IndexReaderPage:104 - ===文件提取耗时：22ms
2025-06-01 12:49:30,508 [pool-3-thread-3] INFO INFO c.s.s.s.IndexReaderPage:104 - ===文件提取耗时：22ms
2025-06-01 12:49:33,884 [main] INFO INFO c.s.s.s.DocumentReader:169 - 词频提取结束...
2025-06-01 12:49:33,901 [main] INFO INFO c.s.s.s.DocumentReader:174 - ===词频提取耗时：3508ms
2025-06-01 12:49:34,152 [main] INFO INFO c.s.s.q.Search:56 - ===跳表加载耗时：3773ms