解释一下向量数据库中的HNSW、LSH和PQ

HNSW、LSH和PQ是向量数据库中的3种核心索引与压缩技 术,用于加速高维向量的相似性搜索

HNSW

H ierarchical N avigable S mall World(HNSW),在高维空间中,构建多层图结构,每一层都是一个小世界网络。

上层的节点比较稀疏,能快速跳跃式定位大致的范围;

下层的节点比较密集,用于精细搜索。

HNSW技术查询速度和精度的平衡比较优秀。

LSH

L ocality-S ensitive Hashing(LSH),是由经过特殊设计的哈希函数,能够使相似向量以较高的概率映射到同一个哈希桶,不相似的向量尽量分散到不同的哈希桶。

在查询的时候,只需要搜索查询向量所在的哈希桶以及相邻的哈希桶,极大地缩小了检索范围。

LSH技术在推荐系统、图像检索等海量数据的近似查询场景中应用广泛。

PQ

P roduct Quantization(PQ)将高维的向量拆分成多个低维的子向量,对每个子向量集合进行聚类,生成聚类中心。

在存储的时候,用聚类中心的编号表示向量,从而大幅减少存储空间。

PQ技术常用于工业级的向量检索系统

相关推荐
Tadas-Gao16 小时前
从“驯马”到“驭队”:Harness Engineering 如何重构 AI 产品化的底层逻辑
人工智能·语言模型·架构·大模型·llm·harness
m晴朗17 小时前
测试覆盖率从35%到80%:我用AI批量生成C++单元测试的完整方案
c++·gpt·ai
咕噜企业分发小米18 小时前
GPUStack私有模型仓库配置教程
gpt
PD我是你的真爱粉19 小时前
大模型可控性实践:护栏技术、结构化输出、GPT Structured Outputs 与 GPTCache
人工智能·gpt
熊猫钓鱼>_>19 小时前
从零构建大模型可调用的Skill:基于Function Calling的完整指南
人工智能·算法·语言模型·架构·agent·skill·functioncall
stereohomology20 小时前
大语言模型的认知边界 & 在认知边界处的系统性崩溃
人工智能·语言模型·自然语言处理
搜狐技术产品小编202320 小时前
智能代码审查基于大语言模型的自动化代码质量保障平台设计与实践
运维·人工智能·语言模型·自然语言处理·自动化
XuecWu321 小时前
原生多模态颠覆Scaling Law?解读语言“参数需求型”与视觉“数据需求型”核心差异
人工智能·深度学习·算法·计算机视觉·语言模型
小超同学你好1 天前
LangGraph 25. 实战:Agent资源优化怎么做?用 State 与条件边管理预算、取证与模型档位(附 SRE 分诊 demo)
人工智能·深度学习·语言模型