Golang|分布式索引架构

  • 当文档数量巨大时,如一亿个文档,倒排索引难以全部放入单机内存。
  • 正排索引将热数据和冷数据分别存储在内存和磁盘中。
  • 分布式搜索引擎将数据分布在不同服务器上以应对大量数据。

  • 倒排索引的水平切分
  • 水平切分按关键词划分数据,如JAVA和算法在A服务器,专家和北京在B服务器。
  • 水平切分的优点是搜索关键词快速,缺点是多关键词搜索需要从多台服务器获取数据并归并。
  • 水平切分存在正排索引冗余存储的问题,浪费存储空间,比如上面文档1在多个倒排链上都存在,就意味着在A和B服务器上都有对应的冗余文件。

  • 倒排索引的垂直切分
  • 垂直切分每台服务器存储所有关键词,但链条减少。
  • 垂直切分的优点是搜索功能在某台服务器宕机时仍可使用,缺点是搜索速度取决于最慢的服务器。
  • 垂直切分的代码编写简单,搜索请求在每台服务器上独立处理后合并结果。

  • 分布式索引架构
  • 分布式架构包括多个worker,每个worker上存储正排索引和倒排索引。
  • 数据被平分为三份,每份分配给一个group,group内部有两台worker进行备份和负载分担。
  • 服务注册中心(etcd)负责决定请求走向哪个group,负载均衡策略选择具体的worker。
  • worker通过etcd进行服务注册和发现,知道其他worker的IP和端口号。
  • 可选的proxy层可以缓存连接和进行限流保护。

  • etcd 作为服务注册中心。
  • etcd 是一个 开源、分布式、高可用 的 键值对(key-value)存储系统。
  • 主要用于存储和管理集群配置、服务发现信息等关键数据。
  • 常用于 Kubernetes 的核心组件中(比如 k8s 的存储后端就是 etcd)。
相关推荐
知其然亦知其所以然几秒前
面试官微笑发问:第100万页怎么查?我差点当场沉默…
后端·mysql·面试
zhangfeng11336 分钟前
R 语法高亮为什么没有,是需要安装专用的编辑软件,R语言自带的R-gui 功能还是比较简单
开发语言·r语言
qq_1728055925 分钟前
Go 装饰器模式学习文档
学习·golang·装饰器模式
文心快码BaiduComate25 分钟前
文心快码升级至3.5S版本,强化多智能体自协同能力
前端·后端·程序员
九章云极AladdinEdu31 分钟前
AI集群全链路监控:从GPU微架构指标到业务Metric关联
人工智能·pytorch·深度学习·架构·开源·gpu算力
蒋星熠41 分钟前
深入 Kubernetes:从零到生产的工程实践与原理洞察
人工智能·spring boot·微服务·云原生·容器·架构·kubernetes
chao1898441 小时前
基于MATLAB的线性判别分析(LDA)人脸识别实现
开发语言·matlab
即兴小索奇1 小时前
Google AI Mode 颠覆传统搜索方式,它是有很大可能的
前端·后端·架构
kyle~1 小时前
排序---快速排序(Quick Sort)
java·开发语言