CLIP-LITE造假

起因:

训练发现JSD完全不收敛
不收敛原因:

翻到了这篇博客:https://blog.csdn.net/weixin_44441131/article/details/105878383,JS在两个分布完全不重合时为常量log2梯度为0,导致无法收敛,我没学过信息论,给文章搞蒙了

翻了一下作者是个印度人,发表在CCF-C会议,草泥马的,浪费老子一天时间

也算是学到了一点关于散度的东西,看文章前一定要看下作者和发表在哪

相关推荐
Python图像识别12 分钟前
73_基于深度学习的水面漂浮垃圾检测系统(yolo11、yolov8、yolov5+UI界面+Python项目源码+模型+标注好的数据集)
python·深度学习·yolo
JJJJ_iii17 分钟前
【机器学习06】神经网络的实现、训练与向量化
人工智能·笔记·深度学习·神经网络·学习·机器学习·线性回归
FriendshipT9 小时前
目标检测:使用自己的数据集微调DEIMv2进行物体检测
人工智能·pytorch·python·目标检测·计算机视觉
AustinCyy9 小时前
【论文笔记】Introduction to Explainable AI
论文阅读·人工智能
墨利昂12 小时前
Transformer架构:深度学习序列建模的革命性突破
深度学习·架构·transformer
我是李武涯12 小时前
PyTorch Dataloader工作原理 之 default collate_fn操作
pytorch·python·深度学习
无风听海13 小时前
神经网络之计算图repeat节点
人工智能·深度学习·神经网络
maxruan13 小时前
PyTorch学习
人工智能·pytorch·python·学习
MYX_30913 小时前
第三章 线型神经网络
深度学习·神经网络·学习·算法
应用市场16 小时前
GPS车辆实时定位与轨迹预测技术实现
深度学习