人工智能综合项目开发13——模型优化与调优——超参数

1、什么是超参数?

机器学习中在模型训练前需预先设定的参数,与通过数据训练获得的参数形成区分

2、参数和超参数

参数 是我们训练神经网络 最终要学习的目标, 最基本的就是神经网络的权重 W和b,我们训练的目的,就是要找到一套好的模型参数,用于预测未知的结果。这些参数我们是不用调的,是模型来训练的过程中自动更新生成的。类似y=kx+b中的k、b

超参数 是我们控制我们模型结构、功能、效率等的 调节旋钮,常见超参数:

  • learning rate
  • epochs(迭代次数,也可称为 num of iterations)
  • num of hidden layers(隐层数目)
  • num of hidden layer units(隐层的单元数/神经元数)
  • activation function(激活函数)
  • batch-size(用mini-batch SGD的时候每个批量的大小)
  • optimizer(选择什么优化器,如SGD、RMSProp、Adam)
  • 用诸如RMSProp、Adam优化器的时候涉及到的β1,β2等等

3、常用的超参数?

深度学习中的超参数调节(learning rate、epochs、batch-size...)

参考链接:

DeepSeek模型超参数调优指南:从理论到实践的深度解析-百度开发者中心

机器学习超参数:用大白话讲清楚模型调优的秘密-AI.x-AIGC专属社区-51CTO.COM

深度学习中的超参数调节(learning rate、epochs、batch-size...)

相关推荐
字节跳动视频云技术团队1 分钟前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术24 分钟前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream1 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴2 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
火山引擎开发者社区2 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li2 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
aleimu2 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
SwanArc技术笔记3 小时前
读技术文档,先用哪个 AI?模型指南筛选与 GPT-6.2 Astra 实操
人工智能
深海鱼在掘金3 小时前
深入浅出RAG——第21章:回顾与展望
人工智能
羲云网络3 小时前
GPT Image 2.6 GIF 交付排障:上线后为什么只剩第一帧?
图像处理·人工智能·前端开发·gif