CLIP-LITE造假

起因:

训练发现JSD完全不收敛
不收敛原因:

翻到了这篇博客:https://blog.csdn.net/weixin_44441131/article/details/105878383,JS在两个分布完全不重合时为常量log2梯度为0,导致无法收敛,我没学过信息论,给文章搞蒙了

翻了一下作者是个印度人,发表在CCF-C会议,草泥马的,浪费老子一天时间

也算是学到了一点关于散度的东西,看文章前一定要看下作者和发表在哪

相关推荐
李燚3 小时前
RAG 流水线设计:Eino 的 Loader → Transformer → Indexer → Retriever(第60篇-E46)
人工智能·深度学习·transformer·agent·rag·aiagent·eino
hoLzwEge9 小时前
CLAUDE.md:为 Claude Code 注入项目记忆
深度学习·程序员·代码规范
金斗潼关11 小时前
使用MLP神经网络模型预测质数
人工智能·深度学习·神经网络
魔镜er13 小时前
03-张量
人工智能·pytorch·python
Black_Rock_br15 小时前
打通 PyTorch Monarch 与 ROCm:单 Controller 架构的异构算力实战
人工智能·pytorch·python·开源
风痕天际16 小时前
Pytorch开发教程1——CUDA安装
人工智能·pytorch·python
心运软件16 小时前
基于深度学习的IMDB电影评论情感分析完整实现
人工智能·pytorch·深度学习·数据分析
魔镜er16 小时前
04-pytorch构建线性回归
人工智能·pytorch·线性回归
wuling12917 小时前
李沐《动手学深度学习》(Dive into Deep Learning)d2l 安装记录
人工智能·深度学习
满怀冰雪17 小时前
09-使用 paddle.nn 构建第一个多层感知机
python·深度学习·神经网络·paddle