目录
[4.1 交流侧频率动态模型](#4.1 交流侧频率动态模型)
[4.2 直流侧电压动态模型](#4.2 直流侧电压动态模型)
[4.3 互联变换器模型](#4.3 互联变换器模型)
[4.4 源荷扰动模型](#4.4 源荷扰动模型)
[4.5 基于Q学习的控制方法原理](#4.5 基于Q学习的控制方法原理)
[4.5.1 状态空间离散化](#4.5.1 状态空间离散化)
[4.5.2 动作空间定义](#4.5.2 动作空间定义)
[4.5.3 奖励函数设计](#4.5.3 奖励函数设计)
✨1.课题概述
交直流混合微电网是将交流微电网与直流微电网通过互联变换器（Interlinking Converter, ILC）耦合而成的系统架构，能够有效整合风力发电、光伏发电、储能系统及多种类型负荷。在该系统中，可再生能源出力的随机波动和负荷的不确定性变化统称为"源荷扰动"，会导致系统功率不平衡，进而引起频率偏差。若频率偏差超出允许范围，将严重影响电能质量甚至导致系统失稳。
传统的负荷频率控制（Load Frequency Control, LFC）方法主要包括PID控制、模型预测控制等，这些方法高度依赖精确的系统数学模型。然而，交直流微电网具有多源异构、拓扑多变、参数时变等特征，建立精确模型十分困难。同时，传统方法对随机性源荷扰动的自适应能力不足，控制效果难以达到预期。针对上述问题，本文提出基于Q学习（Q-Learning）的交直流微电网负荷频率控制方法。Q学习是一种无模型（Model-Free）的强化学习算法，智能体通过与环境交互获取经验，逐步学习最优控制策略，无需预先建立精确的系统模型，且能够自适应地应对源荷扰动，具有显著的工程应用价值。
📊2.系统仿真结果
✅3.核心程序或模型
版本：Matlab2024b
% 交流侧参数
Hac = 5; % 惯性时间常数 (s)
Dac = 1; % 负荷阻尼系数
Tg = 0.2; % 调速器时间常数 (s)
Tt = 0.5; % 原动机时间常数 (s)
R = 0.05; % 调差系数
% 直流侧参数
Cdc = 0.01; % 等效电容 (F)
Vdc0 = 400; % 直流母线额定电压 (V)
Tbatt = 0.3; % 储能电池时间常数 (s)
% 互联变换器参数
TILC = 0.1; % 时间常数 (s)
KILC = 0.5; % 增益系数
% 仿真参数
dt = 0.02; % 仿真步长 (s)
T_episode = 30; % 每回合仿真时间 (s)
N_steps = round(T_episode / dt); % 每回合步数
%% ======================== Q学习参数设置 ================================
% 状态空间离散化
Nf = 21; % 频率偏差离散等级数
NV = 21; % 电压偏差离散等级数
df_min = -1.5; df_max = 1.5; % 频率偏差范围 (Hz)
dV_min = -40; dV_max = 40; % 电压偏差范围 (V)
% 动作空间
Na = 128; % 动作离散等级数
u_min = -0.5; u_max = 0.5; % 控制信号范围
actions = linspace(u_min, u_max, Na); % 动作集合
% Q学习超参数
alpha = 0.025; % 学习率
gamma_rl = 0.95; % 折扣因子
epsilon0 = 1.0; % 初始探索率
epsilon_min = 0.01; % 最小探索率
lambda_decay = 0.995; % 衰减因子
num_episodes = 2000; % 训练回合数
152🚀4.系统原理简介
4.1 交流侧频率动态模型
交流微电网侧包含柴油发电机、风力发电机组和交流负荷。系统的频率动态特性可用旋转体的运动方程来描述。将交流侧等效为单机系统，其频率偏差的动态方程为：
其中，ΔPv为调速器阀门开度变化量，Tg为调速器时间常数，R为调差系数，uac为交流侧附加控制信号（由Q学习智能体输出），Tt为原动机时间常数。
4.2 直流侧电压动态模型
直流微电网侧包含光伏发电系统、储能电池和直流负荷。直流侧的功率平衡通过母线电压来反映，其电压偏差的动态方程为：
4.3 互联变换器模型
互联变换器实现交直流侧之间的功率交换，其动态模型可简化为一阶惯性环节：
4.4 源荷扰动模型
风力发电和光伏发电的出力波动以及负荷变化构成源荷扰动。将扰动建模为阶跃扰动与随机扰动的叠加：
其中，ΔPstep为阶跃扰动幅值，1(⋅)为单位阶跃函数，σd为随机扰动强度，w(t)为白噪声信号。
4.5 基于Q学习的控制方法原理
状态-动作值函数（Q函数）定义为在状态ss下执行动作aa后所能获得的期望累积折扣奖励：
Q学习采用时序差分（Temporal Difference, TD）方法在线更新Q值表：
4.5.1 状态空间离散化
将连续的系统状态变量离散化为有限状态集合。选取交流侧频率偏差和直流侧电压偏差作为状态变量：
4.5.2 动作空间定义
智能体的输出动作为交流侧和直流侧的附加控制信号，将连续动作离散化为Na个等级：
4.5.3 奖励函数设计
奖励函数是引导智能体学习的关键，应体现频率偏差和电压偏差的最小化目标，同时惩罚过大的控制量：
其中，w1,w2,w3,w4为各项的权重系数。负号表示偏差越大奖励越小，引导智能体减小频率和电压偏差。
💢5.完整工程文件
v v
关注后，GZH回复关键词：a36
或回复关键词：QLFH