ELK基本都用过,一条日志在入库时,它的具体内容并不会被真实保存在倒排索引中。 在日志入库之前,会先进行分词,过滤掉无用符号等分隔词,找出文档中每个关键词(Term)在文档中的位置及频率权重;然后,将这些关键词保存在 Term Index 以及 Term Dictionary 内;最后,将每个关键词对应的文档 ID 和权重、位置等信息排序合并到 Posting List 中进行保存。通过上述三个结构就实现了一个优化磁盘 IO 的倒排索引。 而查询时,Elasticsearch 会将用户输入的关键字通过分词解析出来,在内存中的 Term Index 单词索引查找到对应 Term Dictionary 字典的索引所在磁盘的 block。接着,由 Term Dictionary 找到对关键词对应的所有相关文档 DocId 及权重,并根据保存的信息和权重算法对查询结果进行排序返回结果。
相关推荐
金銀銅鐵6 分钟前
用 Swing 重做操作数栈演示锋行天下39 分钟前
langgraph 全栈项目(二)锋行天下2 小时前
langgraph全栈项目(一)学长毕设2 小时前
基于SpringBoot的游戏攻略社区交流系统-附源码程序员cxuan2 小时前
不得了,Google 造反了,Opus 5.5 又被干了Csvn3 小时前
Nginx 缓存体系:三层 key、七态 X-Cache-Status 与锁/stale 策略时间海8714 小时前
前端表单如何防止重复提交稀土蚯蚓4 小时前
OLAP 分析引擎:StarRocks、Doris、ES、ClickHouse,存算分离、列式存储 Parquet旋律4144 小时前
序列化与反序列化TSuperman6 小时前
一次由高危漏洞引发的 Nginx 1.30.7 跨发行版安全升级实战