技术栈

权重衰减

All The Way North-
9 天前
transformer·优化器·数学原理·adam·权重衰减·adamw·对比分析
AdamW 深度解析:从数学原理到 PyTorch 实现,对比分析AdamW与Adam正式 AdamW 之前,推荐先看看我写的这几篇文章:AdamW 的全称是 Adam with Decoupled Weight Decay。
小西贝の博客
1 年前
pytorch·深度学习·权重衰减
4-5权重衰减
Francek Chen
1 年前
人工智能·pytorch·深度学习·神经网络·多层感知机·权重衰减
【深度学习基础】多层感知机 | 权重衰减【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈PyTorch深度学习 ⌋ ⌋ ⌋ 深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上,结合当代大数据和大算力的发展而发展出来的。深度学习最重要的技术特征是具有自动提取特征的能力。神经网络算法、算力和数据是开展深度学习的三要素。深度学习在计算机视觉、自然语言处理、多模态数据分析、科学探索等领域都取得了很多成果。本专栏介绍基于PyTorch的深度学习算法实现
我是有底线的