MATLAB 中调整超参数的系统性方法

在深度学习中，超参数调整是提升模型性能的关键环节。以下是 MATLAB 中调整超参数的系统性方法，涵盖核心参数、优化策略及实战案例：

一、关键超参数及其影响

超参数	作用	典型范围
学习率 (Learning Rate)	控制参数更新步长，影响收敛速度和稳定性	0.0001 ~ 0.1
批量大小 (Batch Size)	每次迭代使用的样本数，影响训练速度和泛化能力	8, 16, 32, 64, 128
训练轮数 (Epochs)	整个数据集的训练次数，影响模型学习程度	10 ~ 100+
优化器 (Optimizer)	决定参数更新算法，如 SGD、Adam、RMSprop	SGD, Adam, Adagrad
Dropout 率	随机忽略神经元的比例，防止过拟合	0.2 ~ 0.5
网络深度	模型层数，影响表达能力	依任务而定（如 CNN: 5~50 层）
隐含层神经元数量	每层神经元数量，影响模型复杂度	16, 32, 64, 128, 256

二、超参数调整策略

1. 手动调参（基于经验）

% 示例：手动调整学习率和批量大小
options = trainingOptions('sgdm', ...
    'InitialLearnRate', 0.001, ...  % 初始学习率
    'LearnRateSchedule', 'piecewise', ...  % 学习率调度策略
    'LearnRateDropFactor', 0.1, ...  % 学习率衰减因子
    'LearnRateDropPeriod', 10, ...  % 每10个epochs衰减一次
    'MiniBatchSize', 64, ...  % 批量大小
    'MaxEpochs', 30, ...  % 最大训练轮数
    'DropoutProbability', 0.5);  % Dropout率

2. 网格搜索（Grid Search）

% 定义超参数搜索空间
hyperparams = struct(...
    'LearnRate', optimizableVariable('log', [1e-4, 1e-2]), ...  % 学习率范围
    'BatchSize', optimizableVariable('discrete', [32, 64, 128]), ...  % 批量大小选项
    'DropoutProb', optimizableVariable('continuous', [0.2, 0.5]));  % Dropout率范围

% 定义训练函数
function valAccuracy = myTrainingFcn(hyperparams)
    % 创建网络
    layers = [imageInputLayer([224 224 3]); ...
              convolution2dLayer(3, 16); ...
              reluLayer; ...
              maxPooling2dLayer(2); ...
              fullyConnectedLayer(10); ...
              softmaxLayer; ...
              classificationLayer];
    
    % 设置训练选项
    options = trainingOptions('adam', ...
        'InitialLearnRate', hyperparams.LearnRate, ...
        'MiniBatchSize', hyperparams.BatchSize, ...
        'DropoutProbability', hyperparams.DropoutProb, ...
        'MaxEpochs', 10, ...
        'ValidationData', valData, ...
        'Verbose', false);
    
    % 训练网络
    net = trainNetwork(trainData, layers, options);
    
    % 在验证集上评估
    YPred = classify(net, valData);
    YVal = valData.Labels;
    valAccuracy = mean(YPred == YVal);
end

% 执行网格搜索
results = hyperparameterOptimization(@myTrainingFcn, hyperparams, ...
    'SearchMethod', 'randomsearch', ...  % 随机搜索（比网格搜索更高效）
    'MaxObjectiveEvaluations', 20);  % 最多尝试20组参数

% 显示最佳参数
bestParams = results.OptimalPoint;
fprintf('最佳学习率: %.6f\n', bestParams.LearnRate);
fprintf('最佳批量大小: %d\n', bestParams.BatchSize);
fprintf('最佳Dropout率: %.2f\n', bestParams.DropoutProb);

3. 贝叶斯优化（Bayesian Optimization）

% 使用贝叶斯优化（需要Statistics and Machine Learning Toolbox）
results = hyperparameterOptimization(@myTrainingFcn, hyperparams, ...
    'SearchMethod', 'bayesian', ...  % 贝叶斯优化
    'AcquisitionFunctionName', 'expected-improvement-plus', ...  % 采集函数
    'MaxObjectiveEvaluations', 15);

4. 学习率调度（Learning Rate Scheduling）

% 指数衰减学习率
options = trainingOptions('sgdm', ...
    'InitialLearnRate', 0.01, ...
    'LearnRateSchedule', 'exponential', ...
    'LearnRateFactor', 0.95, ...  % 每轮衰减因子
    'LearnRatePeriod', 1);  % 每轮更新一次

% 余弦退火学习率
options = trainingOptions('sgdm', ...
    'InitialLearnRate', 0.01, ...
    'LearnRateSchedule', 'cosine', ...
    'LearnRateDropPeriod', 20);  % 余弦周期

三、实战案例：MNIST 超参数优化

% 加载数据
digitDatasetPath = fullfile(matlabroot, 'toolbox', 'nnet', ...
    'nndemos', 'nndatasets', 'DigitDataset');
imds = imageDatastore(digitDatasetPath, ...
    'IncludeSubfolders', true, ...
    'LabelSource', 'foldernames');

% 划分训练集和验证集
[imdsTrain, imdsVal] = splitEachLabel(imds, 0.8, 'randomized');

% 定义超参数搜索空间
hyperparams = struct(...
    'LearnRate', optimizableVariable('log', [1e-4, 1e-2]), ...
    'BatchSize', optimizableVariable('discrete', [32, 64, 128]), ...
    'Momentum', optimizableVariable('continuous', [0.8, 0.99]));

% 定义训练函数
function valAccuracy = mnistTrainingFcn(hyperparams)
    % 创建简单CNN
    layers = [
        imageInputLayer([28 28 1])
        
        convolution2dLayer(5, 20)
        reluLayer
        maxPooling2dLayer(2)
        
        convolution2dLayer(5, 50)
        reluLayer
        maxPooling2dLayer(2)
        
        fullyConnectedLayer(500)
        reluLayer
        
        fullyConnectedLayer(10)
        softmaxLayer
        classificationLayer
    ];
    
    % 设置训练选项
    options = trainingOptions('sgdm', ...
        'InitialLearnRate', hyperparams.LearnRate, ...
        'Momentum', hyperparams.Momentum, ...
        'MiniBatchSize', hyperparams.BatchSize, ...
        'MaxEpochs', 10, ...
        'ValidationData', imdsVal, ...
        'ValidationFrequency', 30, ...
        'Verbose', false);
    
    % 训练网络
    net = trainNetwork(imdsTrain, layers, options);
    
    % 评估验证集准确率
    YPred = classify(net, imdsVal);
    valAccuracy = mean(YPred == imdsVal.Labels);
end

% 执行超参数优化
results = hyperparameterOptimization(@mnistTrainingFcn, hyperparams, ...
    'MaxObjectiveEvaluations', 10, ...
    'Verbose', true);

% 可视化结果
figure
plotHyperparameterOptimizationResults(results)
title('MNIST超参数优化结果')

四、调参技巧与注意事项

1. 学习率调参技巧：

   • 从较大值 (如 0.1) 开始，观察损失函数是否发散
   • 若损失震荡或不下降，降低学习率 (如 0.01, 0.001)
   • 使用学习率预热 (warmup) 和余弦退火策略

2. 批量大小调参技巧：

   • 小批量 (8-32)：训练更稳定，泛化能力强
   • 大批量 (64-256)：训练速度快，但可能陷入局部最优
   • 大批量训练时需配合更高学习率

3. 避免常见陷阱：

   • 过拟合：增加训练数据、添加正则化、减小网络复杂度
   • 欠拟合：增加网络深度 / 宽度、延长训练时间
   • 梯度消失 / 爆炸：使用 ReLU 激活函数、Batch Normalization、梯度裁剪

4. 高效调参策略：

   • 先快速验证关键参数 (如学习率、批量大小)
   • 使用早停 (early stopping) 避免过度训练
   • 采用迁移学习时，微调阶段学习率应更小