技术栈
超参数优化
Code_流苏
1 天前
python
·
深度学习
·
微调
·
resnet
·
迁移学习
·
预训练模型
·
超参数优化
《Python星球日记》 第55天：迁移学习与预训练模型
名人说：路漫漫其修远兮，吾将上下而求索。—— 屈原《离骚》 创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊）
青橘MATLAB学习
8 天前
人工智能
·
机器学习
·
梯度下降
·
超参数优化
·
学习率
·
衰减方法
·
模型收敛
机器学习中的学习率及其衰减方法全面解析
摘要： 本文深入解析机器学习中的学习率及其衰减方法，涵盖学习率的作用、常用衰减参数及七种主流衰减策略（分段常数、指数、自然指数、多项式、余弦、线性余弦、噪声线性余弦）。通过公式推导与图示对比，揭示不同衰减方式的适用场景与性能差异，并结合实际训练需求指导超参数调优。关键词：学习率、衰减方法、梯度下降、超参数优化、模型收敛。
羽星_s
10 个月前
机器学习
·
优化算法
·
tpe算法
·
超参数优化
Optuna包中TPE算法（代码解析）
Optuna是一个自动超参数优化软件框架，专为机器学习而设计。Github项目地址TPE（Tree-structured Parzen Estimator）是一种用于超参数优化的算法，它被广泛应用于机器学习模型中。TPE 算法基于贝叶斯优化技术，特别适用于高维空间中的优化问题，并且在许多情况下比网格搜索和随机搜索等传统方法更高效。
milliele
2 年前
机器学习
·
贝叶斯优化
·
超参数优化
一文详解贝叶斯优化（Bayesian Optimization）原理
参考资料： Expected Improvement formula for Bayesian Optimisation 通俗科普文：贝叶斯优化与SMBO、高斯过程回归、TPE 理解贝叶斯优化 A Tutorial on Bayesian Optimization