自监督学习

深度学习｜MAE技术全景图：自监督学习的“掩码魔法“如何重塑AI基础深度学习（Deep Learning）无疑是当今人工智能领域基础中的基础。从图像识别到自然语言处理（NLP），它在无数任务中展现了卓越性能。例如，在安防监控中，基于深度学习的卷积神经网络（CNN）能够以毫秒级速度识别人脸特征，实现高效的门禁解锁；在医疗领域，深度学习模型通过分析 X 光、CT 或 MRI 图像，辅助医生发现肿瘤或骨折等异常，显著提升诊断效率；在自动驾驶中，它实时检测道路上的行人、车辆和交通标志，确保行车安全。这些成就依赖于强大的计算能力和精心设计的神经网络架构，但也暴露出一个致命的弱点：对

深度学习-自监督学习总结自监督学习（Self-Supervised Learning, SSL）是一种无标签的学习范式，它通过从数据本身构造监督信号，让模型在大规模无标注数据上进行预训练，然后迁移到下游任务中微调（Fine-tuning）。自监督学习已成为计算机视觉、自然语言处理（NLP）和多模态 AI 发展的核心技术。

论文速读|Beit: Bert pre training of image transformers.ICLR22论文地址：Beit: Bert pre training of image transformers 代码地址：https://github.com/microsoft/unilm/tree/master/beit https://aka.ms/beit 作者presentation：https://www.bilibili.com/video/BV19T4y1i7Mq/ bib引用：

论文速读|Matrix-SSL：Matrix Information Theory for Self-Supervised Learning.ICML24论文地址：Matrix Information Theory for Self-Supervised Learning 代码地址：https://github.com/yifanzhang-pro/matrix-ssl bib引用：

论文120：Giga-SSL: Self-supervised learning for gigapixel images (2023, CVPR, 开源)题目：用于千兆像素图像的自监督学习 (Giga-SSL: Self-Supervised Learning for Gigapixel Images)

TechBeat人工智能社区

Talk | 牛津大学博士后研究员边佳旺：SC-DepthV3-动态场景中的自监督单目深度估计本期为TechBeat人工智能社区第550期线上Talk。北京时间11月23日(周四)20:00，牛津大学博士后研究员—边佳旺的Talk已准时在TechBeat人工智能社区开播！

PixMIM论文笔记论文名称：PixMIM: Rethinking Pixel Reconstruction in Masked Image Modeling 发表时间：2023 年 3 月 4 日作者及组织：上海人工智能实验室、西蒙菲莎大学、香港中文大学 GitHub：https://github.com/open-mmlab/mmselfsup/tree/dev-1.x/configs/selfsup/pixmim

自监督DINO论文笔记论文名称：Emerging Properties in Self-Supervised Vision Transformers 发表时间：CVPR2021 作者及组织： Facebook AI Research GitHub：https://github.com/facebookresearch/dino/tree/main

【学习笔记】元学习如何解决计算机视觉少样本学习的问题？目录1 计算机视觉少样本学习2 元学习3 寻找最优初始参数值方法：MAML3.1 算法步骤3.2 代码：使用MAML 和 FO-MAML、任务增强完成Few-shot Classification

【学习笔记】计算机视觉对比学习综述本篇对比学习综述内容来自于沐神对比学习串讲视频以及其中所提到的论文和博客，对应的链接详见第六节。本篇博客所涉及的对比学习内容均应用在CV领域，算是到21年为止比较全面的对比学习综述内容讲解。对比学习作为一种自监督学习方法，其在CV领域的发展也印证着自监督学习的发展，科研工作者也在一步步揭开自监督学习的神秘面纱，通过构建不同的代理任务，采用不同的模型架构，来极力挖掘自监督学习的潜力。相信通过本篇博客的学习，你能够对对比学习有着更深刻的认识，万变不离其宗，当你领悟到对比学习的本质，你就能

DIP: Spectral Bias of DIP 频谱偏置解释DIP文章地址：https://arxiv.org/pdf/2107.01125.pdf