解释一下向量数据库中的HNSW、LSH和PQ

HNSW、LSH和PQ是向量数据库中的3种核心索引与压缩技 术,用于加速高维向量的相似性搜索

HNSW

H ierarchical N avigable S mall World(HNSW),在高维空间中,构建多层图结构,每一层都是一个小世界网络。

上层的节点比较稀疏,能快速跳跃式定位大致的范围;

下层的节点比较密集,用于精细搜索。

HNSW技术查询速度和精度的平衡比较优秀。

LSH

L ocality-S ensitive Hashing(LSH),是由经过特殊设计的哈希函数,能够使相似向量以较高的概率映射到同一个哈希桶,不相似的向量尽量分散到不同的哈希桶。

在查询的时候,只需要搜索查询向量所在的哈希桶以及相邻的哈希桶,极大地缩小了检索范围。

LSH技术在推荐系统、图像检索等海量数据的近似查询场景中应用广泛。

PQ

P roduct Quantization(PQ)将高维的向量拆分成多个低维的子向量,对每个子向量集合进行聚类,生成聚类中心。

在存储的时候,用聚类中心的编号表示向量,从而大幅减少存储空间。

PQ技术常用于工业级的向量检索系统

相关推荐
xinhuanjieyi9 小时前
gpt-sovits测试语音克隆
人工智能·gpt
星辰AI9 小时前
Transformers 架构核心原理:从注意力机制到 GPT
人工智能·ai·语言模型
星辰AI10 小时前
LLM 安全与对齐技术:构建可信赖的人工智能
人工智能·ai·语言模型
韦胖漫谈IT10 小时前
不当输出处理 - 大语言模型 OWASP TOP 10系列
人工智能·语言模型·自然语言处理
YueJoy.AI12 小时前
创业团队如何管理远程工作
人工智能·ai·语言模型
GOTXX12 小时前
SenseNova U1 实战体验:API 调用 + OpenClaw 接入全流程
服务器·网络·人工智能·语言模型
生成论实验室12 小时前
用事件关系网络重新理解AI(三):激活函数、微调与元学习
人工智能·学习·算法·语言模型·可信计算技术
searchforAI12 小时前
AI多模态技术:从语音识别到AI结构化笔记是怎么实现的
人工智能·经验分享·笔记·gpt·whisper·语音识别
星辰AI13 小时前
大模型对抗攻击与防御:保护 AI 系统安全
人工智能·ai·语言模型
星辰AI13 小时前
Stable Diffusion 实战教程:从安装到图像生成
人工智能·ai·语言模型