解释一下向量数据库中的HNSW、LSH和PQ

HNSW、LSH和PQ是向量数据库中的3种核心索引与压缩技 术,用于加速高维向量的相似性搜索

HNSW

H ierarchical N avigable S mall World(HNSW),在高维空间中,构建多层图结构,每一层都是一个小世界网络。

上层的节点比较稀疏,能快速跳跃式定位大致的范围;

下层的节点比较密集,用于精细搜索。

HNSW技术查询速度和精度的平衡比较优秀。

LSH

L ocality-S ensitive Hashing(LSH),是由经过特殊设计的哈希函数,能够使相似向量以较高的概率映射到同一个哈希桶,不相似的向量尽量分散到不同的哈希桶。

在查询的时候,只需要搜索查询向量所在的哈希桶以及相邻的哈希桶,极大地缩小了检索范围。

LSH技术在推荐系统、图像检索等海量数据的近似查询场景中应用广泛。

PQ

P roduct Quantization(PQ)将高维的向量拆分成多个低维的子向量,对每个子向量集合进行聚类,生成聚类中心。

在存储的时候,用聚类中心的编号表示向量,从而大幅减少存储空间。

PQ技术常用于工业级的向量检索系统

相关推荐
Sherry Wangs5 小时前
【ML】语言模型 & GPUs
人工智能·语言模型·自然语言处理
道可云5 小时前
道可云人工智能每日资讯|南京农业大学发布国内首个农业开源大语言模型“司农”
人工智能·语言模型·自然语言处理
CCPC不拿奖不改名6 小时前
大语言模型的基础:大语言模型基础认知
人工智能·python·学习·语言模型·自然语言处理·面向对象·智能体
十三画者6 小时前
【文献分享】LyMOI一种结合深度学习和大规模语言模型的用于解读组学数据的工作流程
人工智能·深度学习·语言模型·数据挖掘·数据分析
人邮异步社区6 小时前
想学习大语言模型(LLM),应该从哪个开源模型开始?
学习·语言模型·开源
Aaron_9457 小时前
LLaMA Factory:一站式大语言模型高效微调框架解析
人工智能·语言模型·llama
姚瑞南7 小时前
【AI 风向标】强化学习(RL):智能体自我优化的学习范式
人工智能·经验分享·python·gpt·深度学习·学习·机器学习
狮子座明仔16 小时前
Engram:DeepSeek提出条件记忆模块,“查算分离“架构开启LLM稀疏性新维度
人工智能·深度学习·语言模型·自然语言处理·架构·记忆
跳跳糖炒酸奶1 天前
第十二章、GPT2:Language Models are Unsupervised Multitask Learners(理论部分)
人工智能·语言模型·自然语言处理·llm·transformers·gpt2