技术栈
gram ancher
mex_wayne
6 小时前
自监督
·
vit
·
dinov3
·
gram ancher
·
rope-box
基础学习(15): dinov3
DINO 系列（尤其 DINOv2）的一大优势是：自监督学出来的特征既能做全局语义（分类/检索），又能做局部密集任务（分割/匹配/深度）。但作者指出：当你把模型、数据、训练时长都继续放大时，会出现一个“已知但没彻底解决”的问题——dense feature map 在长训练/大模型时会退化（变噪、变糊、结构性崩坏），导致密集任务能力受损。DINOv3 的核心贡献之一就是专门把这个坑填了：提出 Gram anchoring 来“钉住”密集特征质量，避免塌陷
我是有底线的