【MATLAB第97期】基于MATLAB的贝叶斯Bayes算法优化BiGRU双向门控循环单元的多输入单输出回归预测模型,含GRU与BiGRU多层结构优化选择

【MATLAB第97期】基于MATLAB的贝叶斯Bayes算法优化BiGRU双向门控循环单元的多输入单输出回归预测模型,含GRU与BiGRU结构层数优化

前言

前面在【MATLAB第10期】讲解了基于贝叶斯Bayes算法优化LSTM长短期记忆网络的多输入单输出回归预测模型。

本次模型难点包括:

1、BiGRU模型代码的编制

2、多层BiGRU模型代码的编制

3、BO-BiGRU模型代码的编制

数据

7输入1输出

clike 复制代码
%%  导入数据(时间序列的单列数据)
result = xlsread('data.xlsx');

%%  数据分析
num_samples = length(result);  % 样本个数 
kim =  7;                      % 延时步长(kim个历史数据作为自变量)
zim =  1;                      % 跨zim个时间点进行预测

%%  构造数据集
for i = 1: num_samples - kim - zim + 1
    res(i, :) = [reshape(result(i: i + kim - 1), 1, kim), result(i + kim + zim - 1)];
end

%%  划分训练集和测试集
temp = 1: 1: 922;

P_train = res(temp(1: 700), 1: 7)';
T_train = res(temp(1: 700), 8)';
M = size(P_train, 2);

P_test = res(temp(701: end), 1: 7)';
T_test = res(temp(701: end), 8)';
N = size(P_test, 2);

%%  数据归一化
[P_train, ps_input] = mapminmax(P_train, 0, 1);
P_test = mapminmax('apply', P_test, ps_input);

[t_train, ps_output] = mapminmax(T_train, 0, 1);
t_test = mapminmax('apply', T_test, ps_output);

%%  数据平铺
%   将数据平铺成1维数据只是一种处理方式
%   也可以平铺成2维数据,以及3维数据,需要修改对应模型结构
%   但是应该始终和输入层数据结构保持一致
P_train =  double(reshape(P_train, 7, 1, 1, M));
P_test  =  double(reshape(P_test , 7, 1, 1, N));

t_train = t_train';
t_test  = t_test' ;

%%  数据格式转换
for i = 1 : M
    p_train{i, 1} = P_train(:, :, 1, i);
end

for i = 1 : N
    p_test{i, 1}  = P_test( :, :, 1, i);
end

%%  创建模型
inputSize = 7;      % 输入特征个数
numResponses = 1;     % 输出特征个数
NumOfUnits = 40;  % 隐含层神经元个数
layers = layerGraph();

%%  参数设置
options = trainingOptions('adam', ...      % Adam 梯度下降算法
    'MiniBatchSize', 50, ...               % 批大小
    'MaxEpochs', 100, ...                  % 最大迭代次数
    'InitialLearnRate', 1e-2, ...          % 初始学习率为
    'LearnRateSchedule', 'piecewise', ...  % 学习率下降
    'LearnRateDropFactor', 0.5, ...        % 学习率下降因子
    'LearnRateDropPeriod', 50, ...         % 经过 500 次训练后 学习率为 0.01 * 0.5
    'Shuffle', 'every-epoch', ...          % 每次训练打乱数据集
    'Plots', 'training-progress', ...      % 画出曲线
    'Verbose', false);

一、单层BiGRU

参考链接:

BIGRU(Bidirectional Gated Recurrent Unit)是一种基于双向门控循环单元(GRU)的多变量时间序列预测方法。它结合了双向模型和门控机制,能够有效地捕捉时间序列数据中的时序关系和多变量之间的相互影响。

GRU是一种循环神经网络(RNN)的变体,相比于传统的循环神经网络(如LSTM),GRU具有更少的参数和计算复杂度。它通过引入门控单元来控制信息的流动,从而在处理长期依赖关系时具有更好的性能。

BIGRU模型由两个方向的GRU网络组成,一个网络从前向后处理时间序列数据,另一个网络从后向前处理时间序列数据。这种双向结构可以同时捕捉到过去和未来的信息,从而更全面地建模时间序列数据中的时序关系。

在BIGRU模型中,每个GRU单元都有更新门和重置门来控制信息的流动。更新门决定了当前时刻的输入是否对当前状态进行更新,而重置门决定了如何将过去的状态与当前输入结合起来。通过这些门控机制,BIGRU模型可以自适应地学习时间序列数据中的长期依赖关系和多变量之间的相互影响。


训练集数据的MAPE为:0.015984

测试集数据的MAPE为:0.037648

训练集数据的RMSE为:0.052827

测试集数据的RMSE为:0.11232

训练集数据的R2为:0.99808

测试集数据的R2为:0.97666

训练集数据的MAE为:0.032269

测试集数据的MAE为:0.088781

训练集数据的MBE为:-0.0040228

测试集数据的MBE为:0.057725

二、多层BiGRU

1.双层


训练集数据的MAPE为:0.025075

测试集数据的MAPE为:0.060946

训练集数据的RMSE为:0.077447

测试集数据的RMSE为:0.17569

训练集数据的R2为:0.99587

测试集数据的R2为:0.94288

训练集数据的MAE为:0.047427

测试集数据的MAE为:0.14756

训练集数据的MBE为:0.041614

测试集数据的MBE为:0.13522

2.三层

训练集数据的MAPE为:0.019441

测试集数据的MAPE为:0.045008

训练集数据的RMSE为:0.057658

测试集数据的RMSE为:0.13099

训练集数据的R2为:0.99771

测试集数据的R2为:0.96825

训练集数据的MAE为:0.036483

测试集数据的MAE为:0.10681

训练集数据的MBE为:0.0048439

测试集数据的MBE为:0.079081

3.四层

训练集数据的MAPE为:0.023143

测试集数据的MAPE为:0.034958

训练集数据的RMSE为:0.074313

测试集数据的RMSE为:0.10532

训练集数据的R2为:0.9962

测试集数据的R2为:0.97947

训练集数据的MAE为:0.047467

测试集数据的MAE为:0.081923

训练集数据的MBE为:-0.026566

测试集数据的MBE为:0.028198

三、BO-BiGRU(含多层BiGRU)

clike 复制代码
clc; clear; close all;
%% -------------- 初始化变量 ------ ----------

%opt.Delays = 1:10;%数据滞后30=滑动窗口
%opt.dataPreprocessMode为数据预处理,'None'代表无处理,'Data Standardization'代表标准化处理,
%'Data Normalization'代表归一化处理
opt.dataPreprocessMode  = 'Data Normalization'; %三种数据处理方式 'None' 'Data Standardization' 'Data Normalization'
opt.learningMethod      = 'GRU';%选择GRU作为训练模型
opt.trPercentage        = 0.76; % 将数据划分为测试和训练数据集,0.76代表训练集比例                 

%----通用深度学习参数(GRU和CNN通用参数)  
opt.maxEpochs     = 100;   %400                  % 深度学习算法中最大训练次数。
opt.miniBatchSize = 50;                        % 深度学习算法中的样本最小批处理数量大小。
opt.executionEnvironment = 'cpu';                % 运行环境 'cpu' 'gpu' 'auto'
opt.LR                   = 'adam';               %GRU学习函数 'sgdm' 'rmsprop' 'adam'
opt.trainingProgress     = 'none';     %是否运行训练图 'training-progress' 'none'

% ------------- BIGRU参数
opt.isUseBiGRULayer  = true;                   % 如果为true,则为双向 GRU,如果为false,则转为单向GRU
opt.isUseDropoutLayer = true;                    % dropout 层避免过拟合
opt.DropoutValue      = 0.5;                       % dropout 层概率为0.5

% ------------ 优化参数
opt.optimVars = [
    optimizableVariable('NumOfLayer',[1 4],'Type','integer') %优化GRU隐含层层数(1-4) ,层数数据类型为整数
    optimizableVariable('NumOfUnits',[20 200],'Type','integer')%优化GRU隐含层神经元(50-200) ,数据类型为整数
    optimizableVariable('isUseBiGRULayer',[1 2],'Type','integer')%优化GRU结构,1代表BiGRU,2代表GRU, ,数据类型为整数
    optimizableVariable('InitialLearnRate',[1e-2 1],'Transform','log')%优化GRU初始学习率(0.01-1) ,数据类型为浮点型
    optimizableVariable('L2Regularization',[1e-10 1e-2],'Transform','log')];%优化GRU正则化L2系数(1e-10-1e-2) ,数据类型为浮点型

opt.isUseOptimizer         = true;%是否选择贝叶斯优化 
opt.MaxOptimizationTime    = 14*60*20;%优化运行的最大时间14*60*60
opt.MaxItrationNumber      = 30;%优化运行的最大迭代次数60
opt.isDispOptimizationLog  = true;%是否展示优化过程日志

opt.isSaveOptimizedValue       = false;        % 是否将所有优化输出保存在 mat 文件中
opt.isSaveBestOptimizedValue   = true;         %  是否将最佳优化输出保存为 mat 文件


%% --------------- 加载数据
data = loadData(opt);
if ~data.isDataRead
    return;
end

%% --------------- 准备数据
[opt,data] = PrepareData(opt,data);

%% --------------- 使用贝叶斯优化找到最佳 GRU 参数
[opt,data] = OptimizeGRU(opt,data);

%% --------------- 评估数据
[opt,data] = EvaluationData(opt,data);

save result_BO-BiGRU



测试集R2: 0.98962

训练集R2:0.99758

clike 复制代码
运行过程结果:
达到 MaxObjectiveEvaluations 30。
函数计算总次数: 30
总历时: 945.2992 秒。
总目标函数计算时间: 905.6441

观测到的最佳可行点:
    NumOfLayer    NumOfUnits    isUseBiGRULayer    InitialLearnRate    L2Regularization


       1.00         199.00           2.00                0.01                0.00      

观测到的目标函数值 = 0.0017557
估计的目标函数值 = 0.0015089
函数计算时间 = 21.0219

估计的最佳可行点(根据模型):
    NumOfLayer    NumOfUnits    isUseBiGRULayer    InitialLearnRate    L2Regularization

       1.00         199.00           2.00                0.01                0.00      

估计的目标函数值 = 0.0015089
估计的函数计算时间 = 21.0541

四、结论

针对本案例数据,1-4层BiGRU回归模型测试时, 1层结构与4层结构拟合结果较好,但因4层结构运行速度慢,结构复杂,加上数据量少,所以在本案例中不太适用。

贝叶斯优化BiGRU模型中,30次迭代后最佳的结构是单层GRU结构,但与单层BiGRU结果相差不大,具有一定的可行性。

再严谨一点儿,需要把30次迭代最优结构结果进行分析,判断BiGRU相对于GRU的优势或者劣势,至少从运行结果可知,BiGRU下限很低,所以不推荐使用默认参数,而需要搭配进化算法进行使用。GRU结构相对较为稳定,但内容比较单一,相比LSTM没有明显优势。

以上,若用BiGRU,使用一层结构的就足够了(结论不严谨,仅针对本次案例)。

五、代码获取

1.阅读首页置顶文章

2.关注CSDN

3.根据自动回复消息,回复"96期"以及相应指令,即可获取对应下载方式。

相关推荐
其实吧37 小时前
基于Matlab的图像融合研究设计
人工智能·计算机视觉·matlab
Matlab程序猿小助手15 小时前
【MATLAB源码-第208期】基于matlab的改进A*算法和传统A*算法对比仿真;改进点:1.无斜穿障碍物顶点2.删除中间多余节点,减少转折。
开发语言·嵌入式硬件·算法·matlab·机器人
IT猿手19 小时前
基于卷积神经网络(CNN)的时间序列预测,15个输入1个输出,可以更改数据集,MATLAB代码
人工智能·深度学习·神经网络·算法·matlab·cnn
其实吧31 天前
基于MATLAB的运动车辆跟踪检测系统
开发语言·matlab
梦里水乡8571 天前
基于MATLAB的农业病虫害识别研究
开发语言·matlab
墨痕_7772 天前
论文阅读笔记Dense Passage Retrieval for Open-Domain Question Answering
matlab
真的是我22 天前
基于MATLAB课程设计-图像处理完整版
图像处理·人工智能·计算机视觉·matlab
顶呱呱程序3 天前
2-140 基于Solidworks和Matlab Simulink Simscape仿真的机器人手臂仿真
开发语言·matlab·机器人·simulink·simscape·机器人手臂仿真
ULTRA??3 天前
随机生成100组N个数并对比,C++,python,matlab,pair,std::piecewise_construct
开发语言·c++·python·matlab
陌夏微秋3 天前
硬件基础06 滤波器——无源、有源(含Filter Solutions、Filter Pro、MATLAB Fdatool)
matlab·硬件工程·信息与通信·信号处理