soap-search读取优化

soap-search地址

往期回顾

文件读取优化

面临问题

  • 1.文件会很大,因为文件会一直增加的,这里就需要解决的问题是存储压缩问题。
  • 1.1(目前这里soap-search的demo基本没采用什么压缩办法,只是最基本的把文件写入和解析出来;额外的处理就是对词频的位置记录采用了差值规则,数据长度采用Lucene里面的Vint类型)
  • 2.倒排的文件加载速度也要尽可能提升,不然影响搜索的响应体验不好
  • 2.1今天分享下对文件读取采用的小技巧
  • 2.2为什么这里很重要因为词频的数据量很大(因为我这里做了跟域的关联可能导致进一步的加大)
  • 3.对于文件的结构需要设计合理的组织和关联,这对于文件的读写也产生了要求,因为结构复杂了那么实现的难度就变大了。
  • 3.1.基本只是把关系简单的搞下,能跑通demo的状况(下面这个图之前画的上次不知道为什么没加载上去-_-

读取的优化

  • 1.词频本来是个单独文件,(优化的时候借鉴了文档与域的关联关系,我也添加了个文件记录了下词频的位置,为后面多线程解析作下准备)
  • 2.首先是文件的加载,之前是一点一点数据结构的读取。
  • 2.1我这里首先采用了极端的方法一次性先把文件都加载上来进来,然后再解析。(这样文件的读取解析有很大的提升了,但是会消耗点内存)
  • 2.2这里我也做了个折中的处理先指定特定的长度去加载文件(因为我们记录的有词频的位置,这样加载的长度是可以计算出来的,再加上初始的偏移量我们就可以准确的先加载内容再去处理数据了,这样解析的提取的内容也不会出错)
  • 2.3这样处理后效果很明显。
java 复制代码
  public void readAllFile() throws IOException {
        long startTime = System.currentTimeMillis(); // 记录开始时间
        long position = 0;
        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        while (position < fileLength) {
            // 对齐到页边界
            long alignedPos = alignToPage(position);
            // 读取一页大小数据;这里默认读取了4个页内容
            ByteBuffer buffer = ByteBuffer.allocate(IndexReaderPage.BUFFER_SIZE);
            raf.getChannel().position(alignedPos);
            int bytesRead = raf.getChannel().read(buffer);

            // 处理 buffer 数据...
            if (bytesRead > 0) {
                buffer.flip();
                position+=buffer.remaining();
                appendBuffer(baos, buffer);
               // Log.info("读取位置:{},实际读取字节数:{}",alignedPos, bytesRead);
            }
            position = alignedPos + IndexReaderPage.BUFFER_SIZE; // 移动到下一页
        }
        currentBuffer=baos.toByteArray();
        Log.info("===文件提取耗时:{}ms",(System.currentTimeMillis()-startTime)); // 记录开始时间);
    }

    private static void appendBuffer(ByteArrayOutputStream output, ByteBuffer buffer) {
        byte[] array = new byte[buffer.remaining()];
        buffer.get(array);
        output.write(array, 0, array.length);
    }
    private static long alignToPage(long offset) {
        return (offset / IndexReaderPage.BUFFER_SIZE) * IndexReaderPage.BUFFER_SIZE;
    }

最后测试的效果吧

测试数据是部分文档重复写入,词频已经达到百万了

txt 复制代码
2025-06-01 12:49:30,383 [main] INFO  INFO  c.s.s.s.DocumentReader:28 - 线程池初始化预热...
2025-06-01 12:49:30,393 [main] INFO  INFO  c.s.s.s.DocumentReader:120 - 词频开始提取...
2025-06-01 12:49:30,414 [main] INFO  INFO  c.s.s.s.IndexReaderPage:104 - ===文件提取耗时:19ms
2025-06-01 12:49:30,417 [main] INFO  INFO  c.s.s.s.DocumentReader:133 - 词频个数:1141380
2025-06-01 12:49:30,484 [pool-3-thread-4] INFO  INFO  c.s.s.s.DocumentReader:191 - 线程 [pool-3-thread-4] 正在处理任务 #4
2025-06-01 12:49:30,484 [pool-3-thread-2] INFO  INFO  c.s.s.s.DocumentReader:191 - 线程 [pool-3-thread-2] 正在处理任务 #2
2025-06-01 12:49:30,484 [pool-3-thread-1] INFO  INFO  c.s.s.s.DocumentReader:191 - 线程 [pool-3-thread-1] 正在处理任务 #1
2025-06-01 12:49:30,484 [pool-3-thread-3] INFO  INFO  c.s.s.s.DocumentReader:191 - 线程 [pool-3-thread-3] 正在处理任务 #3
2025-06-01 12:49:30,486 [pool-3-thread-4] INFO  INFO  c.s.s.s.IndexReaderPage:104 - ===文件提取耗时:0ms
2025-06-01 12:49:30,489 [pool-3-thread-4] INFO  INFO  c.s.s.s.DocumentReader:221 - 线程 [pool-3-thread-4] 完成任务 #4
2025-06-01 12:49:30,506 [pool-3-thread-2] INFO  INFO  c.s.s.s.IndexReaderPage:104 - ===文件提取耗时:21ms
2025-06-01 12:49:30,508 [pool-3-thread-1] INFO  INFO  c.s.s.s.IndexReaderPage:104 - ===文件提取耗时:22ms
2025-06-01 12:49:30,508 [pool-3-thread-3] INFO  INFO  c.s.s.s.IndexReaderPage:104 - ===文件提取耗时:22ms
2025-06-01 12:49:33,884 [main] INFO  INFO  c.s.s.s.DocumentReader:169 - 词频提取结束...
2025-06-01 12:49:33,901 [main] INFO  INFO  c.s.s.s.DocumentReader:174 - ===词频提取耗时:3508ms
2025-06-01 12:49:34,152 [main] INFO  INFO  c.s.s.q.Search:56 - ===跳表加载耗时:3773ms
相关推荐
她说..10 分钟前
MybatisPlus-快速入门
java·spring boot·spring cloud·微服务·mybatis·mybatisplus
哈密瓜刨冰16 分钟前
HTTP 协议的基本格式和 fiddler 的用法
java
砖头拍死你36 分钟前
51单片机如何使用printf打印unsigned long的那些事
java·前端·51单片机
云边散步1 小时前
《校园生活平台从 0 到 1 的搭建》第四篇:微信授权登录前端
前端·javascript·后端
架构师沉默1 小时前
让我们一起用 DDD,构建更美好的软件世界!
java·后端·架构
胖头鱼不吃鱼-1 小时前
Go 原理之 GMP 并发调度模型
java·jvm·golang
JosieBook1 小时前
【IDEA】idea怎么修改注册的用户名称?
java·intellij-idea·策略模式
研究司马懿1 小时前
【Golang】Go语言函数
开发语言·后端·golang
tuokuac1 小时前
创建的springboot工程java文件夹下还是文件夹而不是包
java·spring boot·后端
笃行3501 小时前
搭建专属AI聊天网站:NextChat + 蓝耘MaaS平台完整部署指南
后端