VLAD NETVLAD

VLAD:

先用sift对图像提取特征点并计算其描述子.对一张图像的n个d维的描述子进行聚类得到k个聚类中心,对每个类所包含的描述子减去聚类中心后求和得到一个向量,k个类别就得到k个d维向量,用这k个d维向量去表达一张图像

NETVLAD:

改进1: 用所有描述子对每一个聚类中心的差值求加权平均和.即对描述子到聚类中心的差值乘以一个权重再去求和.权重是所有描述子到聚类中心距离再做一个softmax得到的.

改进2: 引入卷积网络直接对一张图像提取这k个d维向量

网络: 一张图像经过卷积得到wxhxd的featuremap,用N表示wxh,然后网络分成两个分支,一个分支对N个d维向量计算出k个聚类中心.另一个分支去计算权重.计算完权重和聚类中心就可以减去聚类中心加权求和后得到一张图的kxd的向量表达.

计算N个描述子到K个聚类中心的权重,结果应该是Nxk的矩阵.计算权重的分支对wxhxd的fm用k个1x1卷积核卷积得wxh x k的fm,代表N个k维向量,每个k有N个向量,用每个k下的N个向量求softmax,得到描述子到每个聚类中心加权的权重.

总结:不再需要提取特征点即可得到一张图的向量表达,就没有特征点了.

参考:NetVLAD原理详解和推导-CSDN博客

NeXtVLAD:

对网络做了改进,加了残差连接和多尺度的网络结构(一层出来经过多个不同尺度的卷积核的结果再融合到一起)

参数量从netvlad的268MB降低到netxtvlad的 71MB

参考:NetVLAD系列代码串讲 - 知乎

用chatgpt总结一下:

本文讨论了图像特征提取和表达的相关技术,包括 SIFT、VLAD、NETVLAD 和 NeXtVLAD。关键要点包括:

  • VLAD:对图像的描述子进行聚类,得到聚类中心,然后对每个类所包含的描述子减去聚类中心后求和,用这 k 个 d 维向量去表达一张图像。

  • NETVLAD:对 VLAD 进行改进,用所有描述子对每一个聚类中心的差值求加权平均和,并引入卷积网络直接对一张图像提取这 k 个 d 维向量。

  • NeXtVLAD:对网络做了改进,加了残差连接和多尺度的网络结构,降低了参数量。

相关推荐
埃菲尔铁塔_CV算法7 分钟前
基于 TOF 图像高频信息恢复 RGB 图像的原理、应用与实现
人工智能·深度学习·数码相机·算法·目标检测·计算机视觉
中杯可乐多加冰2 小时前
【AI落地应用实战】AIGC赋能职场PPT汇报:从效率工具到辅助优化
人工智能·深度学习·神经网络·aigc·powerpoint·ai赋能
Trent19852 小时前
影楼精修-智能修图Agent
图像处理·人工智能·计算机视觉·aigc
烟锁池塘柳02 小时前
【大模型】解码策略:Greedy Search、Beam Search、Top-k/Top-p、Temperature Sampling等
人工智能·深度学习·机器学习
zzc9213 小时前
时频图数据集更正程序,去除坐标轴白边及调整对应的标签值
人工智能·深度学习·数据集·标签·时频图·更正·白边
Blossom.1184 小时前
机器学习在智能供应链中的应用:需求预测与物流优化
人工智能·深度学习·神经网络·机器学习·计算机视觉·机器人·语音识别
Gyoku Mint4 小时前
深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹
人工智能·pytorch·python·深度学习·神经网络·算法·聚类
m0_751336397 小时前
突破性进展:超短等离子体脉冲实现单电子量子干涉,为飞行量子比特奠定基础
人工智能·深度学习·量子计算·材料科学·光子器件·光子学·无线电电子
有Li10 小时前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
叶子爱分享13 小时前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉