CLIP-LITE造假

起因:

训练发现JSD完全不收敛
不收敛原因:

翻到了这篇博客:https://blog.csdn.net/weixin_44441131/article/details/105878383,JS在两个分布完全不重合时为常量log2梯度为0,导致无法收敛,我没学过信息论,给文章搞蒙了

翻了一下作者是个印度人,发表在CCF-C会议,草泥马的,浪费老子一天时间

也算是学到了一点关于散度的东西,看文章前一定要看下作者和发表在哪

相关推荐
青椒大仙KI111 小时前
24/11/24 视觉笔记 滤镜
笔记·深度学习·计算机视觉
使者大牙1 小时前
【LLM学习笔记】第四篇:模型压缩方法——量化、剪枝、蒸馏、分解
人工智能·深度学习·算法·机器学习
卧式纯绿1 小时前
自动驾驶3D目标检测综述(三)
人工智能·python·深度学习·目标检测·3d·cnn·自动驾驶
土豆炒马铃薯。2 小时前
【深度学习】Pytorch 1.x 安装命令
linux·人工智能·pytorch·深度学习·ubuntu·centos
阿_旭2 小时前
【超全】目标检测模型分类对比与综述:单阶段、双阶段、有无锚点、DETR、旋转框
人工智能·深度学习·目标检测·分类
xianghan收藏册3 小时前
基于lora的llama2二次预训练
人工智能·深度学习·机器学习·chatgpt·transformer
2zcode3 小时前
基于YOLOv8深度学习的智慧农业果园果树柑橘类果实目标检测系统(PyQt5界面+数据集+训练代码)
深度学习·yolo·目标检测
Struart_R3 小时前
Epipolar-Free 3D Gaussian Splatting for Generalizable Novel View Synthesis 论文解读
人工智能·深度学习·计算机视觉·3d·transformer·三维重建·新视角生成
土豆炒马铃薯。4 小时前
CUDA,PyTorch,GCC 之间的版本关系
linux·c++·人工智能·pytorch·python·深度学习·opencv
视言4 小时前
大模型时代的具身智能系列专题(十二)
人工智能·深度学习·计算机视觉·机器人·具身智能