CLIP-LITE造假

起因:

训练发现JSD完全不收敛
不收敛原因:

翻到了这篇博客:https://blog.csdn.net/weixin_44441131/article/details/105878383,JS在两个分布完全不重合时为常量log2梯度为0,导致无法收敛,我没学过信息论,给文章搞蒙了

翻了一下作者是个印度人,发表在CCF-C会议,草泥马的,浪费老子一天时间

也算是学到了一点关于散度的东西,看文章前一定要看下作者和发表在哪

相关推荐
Takina~1 小时前
python打卡day53
python·深度学习·机器学习
Blossom.1181 小时前
基于深度学习的智能图像分类系统:从零开始构建
开发语言·人工智能·python·深度学习·神经网络·机器学习·分类
王上上1 小时前
【论文阅读34】Attention-ResNet-LSTM(JRMGE2024)
论文阅读·人工智能·lstm
jieshenai1 小时前
torch 高维矩阵乘法分析,一文说透
pytorch·深度学习·矩阵
codegarfield1 小时前
YOLO11中的C3K2模块
人工智能·深度学习·yolo·c3k2
要努力啊啊啊2 小时前
YOLOv2 中非极大值抑制(NMS)机制详解与实现
人工智能·深度学习·yolo·计算机视觉·目标跟踪
勤奋的知更鸟5 小时前
深度学习神经网络架构Transformer深刻理解
深度学习·神经网络·transformer
m0_6786933310 小时前
深度学习笔记26-天气预测(Tensorflow)
笔记·深度学习·tensorflow
硅谷秋水10 小时前
NORA:一个用于具身任务的小型开源通才视觉-语言-动作模型
人工智能·深度学习·机器学习·计算机视觉·语言模型·机器人
CV-杨帆10 小时前
论文阅读:arxiv 2025 Chain of Draft: Thinking Faster by Writing Less
论文阅读