解释一下向量数据库中的HNSW、LSH和PQ

HNSW、LSH和PQ是向量数据库中的3种核心索引与压缩技 术,用于加速高维向量的相似性搜索

HNSW

H ierarchical N avigable S mall World(HNSW),在高维空间中,构建多层图结构,每一层都是一个小世界网络。

上层的节点比较稀疏,能快速跳跃式定位大致的范围;

下层的节点比较密集,用于精细搜索。

HNSW技术查询速度和精度的平衡比较优秀。

LSH

L ocality-S ensitive Hashing(LSH),是由经过特殊设计的哈希函数,能够使相似向量以较高的概率映射到同一个哈希桶,不相似的向量尽量分散到不同的哈希桶。

在查询的时候,只需要搜索查询向量所在的哈希桶以及相邻的哈希桶,极大地缩小了检索范围。

LSH技术在推荐系统、图像检索等海量数据的近似查询场景中应用广泛。

PQ

P roduct Quantization(PQ)将高维的向量拆分成多个低维的子向量,对每个子向量集合进行聚类,生成聚类中心。

在存储的时候,用聚类中心的编号表示向量,从而大幅减少存储空间。

PQ技术常用于工业级的向量检索系统

相关推荐
徐健峰1 小时前
GPT-image-2 热门玩法实战(二):AI 面相分析 & 个人色彩诊断 — 上传自拍秒出专业报告
人工智能·gpt
Carl_奕然2 小时前
【智能体】Agent的四种设计模式之:ReAct
人工智能·设计模式·语言模型
量子-Alex3 小时前
【大模型】监督微调与强化学习:大型语言模型后训练方法的研究
人工智能·语言模型·自然语言处理
ybdesire5 小时前
间接提示词注入真实样例鉴赏
网络安全·语言模型·漏洞·漏洞分析
yaodong5185 小时前
ChatGPT-Image-2 绘图实战:国内镜像站 Prompt 工程指南及多模型对比
gpt·chatgpt·prompt
墨心@16 小时前
赋予智能体技能,让其胜任现实世界任务
语言模型·大语言模型·agent
还是奇怪17 小时前
AI 提示词工程入门:用好的语言与模型高效对话
大数据·人工智能·语言模型·自然语言处理·transformer
迁旭18 小时前
claude code 提示词
人工智能·语言模型·gpt-3·知识图谱
硅谷秋水21 小时前
ClawVM:有状态工具LLM智体的Harness管理型虚拟内存
人工智能·深度学习·语言模型
zhuiyisuifeng1 天前
2026图像精修:GPT-Image-2局部编辑全攻略
gpt