调参对象可针对模型本身和参数进行设置。模型本身的内容包括优化器、激活函数、正则化、损失函数等;参数设置包括:GPU数量、批处理大小、Epoch数量、初始化权重、学习率等。
针对权重初始化通常采用预训练模型或者xavier,其中前者为使用训练集得到的参数信息,更一般的为后者,通过设置参数分布来初始化权重。
调参对象可针对模型本身和参数进行设置。模型本身的内容包括优化器、激活函数、正则化、损失函数等;参数设置包括:GPU数量、批处理大小、Epoch数量、初始化权重、学习率等。
针对权重初始化通常采用预训练模型或者xavier,其中前者为使用训练集得到的参数信息,更一般的为后者,通过设置参数分布来初始化权重。