CLIP-LITE造假

起因:

训练发现JSD完全不收敛
不收敛原因:

翻到了这篇博客:https://blog.csdn.net/weixin_44441131/article/details/105878383,JS在两个分布完全不重合时为常量log2梯度为0,导致无法收敛,我没学过信息论,给文章搞蒙了

翻了一下作者是个印度人,发表在CCF-C会议,草泥马的,浪费老子一天时间

也算是学到了一点关于散度的东西,看文章前一定要看下作者和发表在哪

相关推荐
kingcjh97几秒前
十、RL 算法性能调优指南
深度学习·算法
清空mega2 小时前
动手学深度学习——填充和步幅详解:卷积输出尺寸到底怎么控制?
人工智能·深度学习
白小筠3 小时前
Pytorch之张量的基本操作
人工智能·pytorch·python
wuxuand3 小时前
读顶刊综述:新兴技术下深度学习入侵检测的现状、鸿沟与未来
人工智能·深度学习
冰西瓜6003 小时前
深度学习的数学原理(二十三)—— Transformer开篇:从迷你模型到核心逻辑
人工智能·深度学习·transformer
2601_950760793 小时前
IL-7蛋白在脓毒症适应性免疫紊乱中的研究进展
人工智能·深度学习·蛋白
AI医影跨模态组学3 小时前
EJNMMI(IF=7.6)四川大学华西医院田蓉、李康等团队:基于深度学习的PET‑CT生物标志物用于滤泡淋巴瘤早期进展预测及生存分层
人工智能·深度学习·医学·医学影像
m0_564876843 小时前
提示词工程Zero-Shot、One-Shot、Few-Shot
人工智能·深度学习·学习
刘若里3 小时前
【论文阅读】自适应稀疏自注意力——可直接用!
论文阅读·人工智能·笔记·深度学习·计算机视觉
刘简爱学习4 小时前
用于病理图像多类分割的弱监督状态空间模型PathMamba
人工智能·深度学习·计算机视觉