解释一下向量数据库中的HNSW、LSH和PQ

HNSW、LSH和PQ是向量数据库中的3种核心索引与压缩技 术,用于加速高维向量的相似性搜索

HNSW

H ierarchical N avigable S mall World(HNSW),在高维空间中,构建多层图结构,每一层都是一个小世界网络。

上层的节点比较稀疏,能快速跳跃式定位大致的范围;

下层的节点比较密集,用于精细搜索。

HNSW技术查询速度和精度的平衡比较优秀。

LSH

L ocality-S ensitive Hashing(LSH),是由经过特殊设计的哈希函数,能够使相似向量以较高的概率映射到同一个哈希桶,不相似的向量尽量分散到不同的哈希桶。

在查询的时候,只需要搜索查询向量所在的哈希桶以及相邻的哈希桶,极大地缩小了检索范围。

LSH技术在推荐系统、图像检索等海量数据的近似查询场景中应用广泛。

PQ

P roduct Quantization(PQ)将高维的向量拆分成多个低维的子向量,对每个子向量集合进行聚类,生成聚类中心。

在存储的时候,用聚类中心的编号表示向量,从而大幅减少存储空间。

PQ技术常用于工业级的向量检索系统

相关推荐
DM今天肝到几点?1 小时前
AI 安全进入「攻防同频」:Gemini 3.8 Flash Cyber 上线、Astra 触及关键级、HiddenLayer 融资 1 亿美元
网络·人工智能·深度学习·安全·语言模型·开源·知识图谱
问天_观心4 小时前
大模型微调学习(一)
开发语言·人工智能·学习·语言模型·github
陈大鱼头5 小时前
GPT-6 跟它的重置卡来了!
gpt·chatgpt·openai
Dawson Zhu8 小时前
多Agent系统共享记忆架构:从存储范式到分布式共识的技术剖析
人工智能·语言模型·架构·aigc·agi
社会你彬少12 小时前
AI 能生成 PPT 后,决策页也该有 CI
gpt
人民广场吃泡面12 小时前
DLSS 5 深度解析:当 AI 学会“创造”画面,实时游戏渲染迎来“GPT 时刻”
人工智能·gpt·游戏
Fluxart.ai16 小时前
GPT Image 2 国内怎么用?在 Flux Art 完成图片生成与编辑
前端·javascript·gpt
陈大鱼头1 天前
天才陨落了!三大 AI 集体不可用!
gpt·claude·grok
ddshub_cc1 天前
GPT Image 2 电商场景指南:主图、详情页与活动物料怎么出
gpt·ai·image2·ai生图·电商ai·电商工具·电商生图
Dawson Zhu1 天前
从虚拟内存到 Agent 记忆:把大模型的“脑补“变成“查表“
人工智能·语言模型·架构·aigc·agi