一、论文基础信息（完整平台、出处、引用、原文资源）
期刊平台：Communications in Nonlinear Science and Numerical Simulation（简称 CNSNS，非线性科学与数值模拟通讯，SCI 一区 TOP，计算数学 / 计算流体顶刊）
完整文献出处
作者：Cao Wenbo, Zhang Weiwei（西北工业大学曹文博、张伟伟）
标题：Overcoming the Loss Conditioning Bottleneck in Optimization-Based PDE Solvers: A Well-Conditioned Loss Function
期刊：Communications in Nonlinear Science and Numerical Simulation
发表年份卷期页：2026, 160: 109952
单位：西北工业大学航空学院、流体力学智能化国际联合研究所、飞行器基础布局全国重点实验室
标准引用格式
Cao W, Zhang W. Overcoming the Loss Conditioning Bottleneck in Optimization-Based PDE Solvers: A Well-Conditioned Loss FunctionJ. Communications in Nonlinear Science and Numerical Simulation, 2026, 160: 109952.
原文文件链接：Overcoming the Loss Conditioning Bottleneck in Optimization-Based PDE Solvers: A Well-Conditioned Loss Function.pdf
推送发布平台：CNSNS 学术公众号（论文为作者投稿授权转载）
二、研究背景与核心痛点解读
- 两大 PDE 优化求解框架（OBS 优化求解器）
目前用最小化损失函数求解偏微分方程分为两类主流范式，统称优化型 PDE 求解器 OBS：
ODIL：离散损失优化，直接以网格离散变量为优化变量，无神经网络，贴近传统 CFD 数值离散；
PINNs：物理信息神经网络，分两类：
PINNs-ND：基于数值离散构建残差；
PINNs-AD：自动微分构造 PDE 残差，工业界最常用。
与之对比的是经典迭代求解器 IS（CG、GMRES 等），直接迭代离散代数方程组，是传统 CFD 基准工具。
- 行业公认核心矛盾（本文切入点）
OBS（ODIL/PINNs）优势极强：天然融合多类约束、适配反问题 / 参数化问题、统一建模；
但致命缺陷：收敛速度比 CG、GMRES 慢数个数量级，网格加密、方程病态时差距进一步拉大。
过往研究仅直观发现该现象，未从矩阵条件数、等价迭代格式底层机理完整解释慢收敛根源，也缺少通用改进方案。
- 底层根源：MSE 损失天然放大条件数
现有 ODIL、PINNs 几乎全部使用残差均方 MSE 作为损失，本文核心理论突破点：
最小化 MSE 等价于求解原离散方程组的正规方程(ATA\boldsymbol{x}=AT\boldsymbol{b})；
原离散算子矩阵A条件数(cond(A))；
正规方程矩阵(ATA)条件数(cond(ATA)=cond(A)^2)；
MSE 会平方放大系统病态程度，直接导致梯度下降、Adam、LBFGS 迭代步数暴增，这是优化求解器慢收敛的根本瓶颈。
三、理论推导分层解读（SPD 对称正定系统→非对称非线性系统）
阶段 1：对称正定 SPD 系统（泊松方程类线性椭圆方程）
1、理想损失：QP 二次损失
仅适用于 SPD 矩阵，梯度直接等于原方程残差，等价于直接求解(A\boldsymbol{x}=\boldsymbol{b})，无条件数平方放大，CG 优化 QP 损失和经典 CG 迭代完全等效，收敛速度最优。
2、通用缺陷：QP 损失无法推广至非对称、非线性 PDE
当离散矩阵A非对称时：
① QP 目标非凸、无下界；
② 方程真实解不再是 QP 损失的极值点，无法使用。
3、PINNs 拓展验证
即便引入神经网络参数化，MSE 损失依旧会引入(A^TA)结构，条件数平方效应持续存在，网络训练大幅变慢。
阶段 2：非对称 / 非线性系统（对流方程、Allen-Cahn 相场方程）
针对 QP 失效场景，作者分两步提出创新损失构造：
1、GR 梯度残差损失（基础版本）
通过梯度截断 detach 操作，强制损失梯度等于原始残差(\boldsymbol{r}=A\boldsymbol{x}-\boldsymbol{b})，完全规避(A^TA)正规方程，消除条件数平方放大，迭代方向和经典显式迭代完全同构。
短板：纯 GR 梯度更新振荡剧烈、数值稳定性差，极易发散。
2、SGR 稳定梯度残差损失（本文核心创新良性损失）
设计加权插值结构，梯度为 GR 高速方向与 MSE 稳定方向的线性加权，可调超参数(\alpha\in0,1)：
(\alpha=0)：退化为标准 MSE，收敛慢、极度稳定；
(\alpha=1)：纯 GR 损失，收敛极快、易振荡发散；
(0<\alpha<1)：平衡收敛速度与数值稳定性。
SGR 核心优势（工程实用价值）
1、函数数值和 MSE 完全一致，损失曲线对比基准统一；
2、无需显式存储、组装离散矩阵(A/A^TA)，仅依赖残差向量，适配无显式矩阵的 PINNs-AD；
3、兼容全框架：ODIL、PINNs-ND、PINNs-AD 通用，不改动网络结构、离散格式；
4、仅依靠反向传播自动计算梯度，无额外矩阵运算开销。
四、数值实验完整结论解读（两大经典算例，分层验证理论）
算例 1：二维泊松方程（线性 SPD 系统，验证条件数平方效应）
1、对照组：经典 CG/GMRES
加密网格→(cond(A))上升，收敛放缓；正规方程(ATA\boldsymbol{x}=AT\boldsymbol{b})收敛速度大幅劣化，直观验证平方放大理论。
2、ODIL 框架测试（无神经网络）
QP 损失收敛速度远快于 MSE；LBFGS 优化效率高于 Adam，但高度病态网格下精度上限更低。
3、PINNs-ND（数值离散残差网络）
QP 全程优于 MSE；神经网络引入非凸性，训练振荡显著高于纯 ODIL。
4、PINNs-AD（自动微分，无显式矩阵）
配点采样弱化了条件数影响，MSE 与 QP 差距缩小，但条件数放大机理依然成立。
算例 2：Allen-Cahn 相场方程（非线性、非对称时变 PDE，验证 SGR 有效性）
1、ODIL 核心结果
随(\alpha)增大，SGR 海森矩阵条件数持续下降，收敛速度呈数量级提升；
(\alpha)过大会导致 LBFGS 发散（拟牛顿依赖对称正定曲率，GR 梯度破坏海森对称性）；一阶 Adam 鲁棒性更强，搭配学习率衰减可兼顾高速收敛与高精度；
最优(\alpha)区间下，SGR 相比传统 MSE 实现量级加速。
2、PINNs 两套框架拓展测试
SGR 在 PINNs 中同样具备前期快速降误差的加速能力，但神经网络非凸参数化压缩了稳定(\alpha)取值区间，训练后期振荡更明显；
统一结论：无论是否显式离散矩阵，算子诱导的条件数瓶颈始终存在，SGR 是通用缓解方案。
五、论文学术贡献与工程落地价值
- 理论创新
首次从等价迭代矩阵、条件数视角完整解释 ODIL/PINNs 慢收敛的底层机理，证明 MSE 正规方程是核心瓶颈；
区分 SPD / 非对称系统两套理论体系，厘清 QP、MSE、GR 三类损失的迭代本质；
提出 SGR 可调良性损失，统一适配线性 / 非线性、对称 / 非对称 PDE，打通离散优化与神经网络求解两套体系。
- 工程实用创新
零侵入改造：现有 PINNs、ODIL 代码仅需修改损失梯度计算逻辑，无需重构离散、网络、求解器；
平衡方案解决行业痛点：兼顾经典迭代的收敛速度与 MSE 损失的数值稳定性；
适配 CFD、相场、传热、电磁等绝大多数工程 PDE 仿真场景，正反问题通用。
- 未来研究方向（文中延伸讨论）
自适应(\alpha)动态调度策略，训练过程自动平衡速度与稳定性；
网络结构优化，拓宽 SGR 在 PINNs 中的稳定参数区间；
结合预处理技术，进一步压制高维、多物理耦合方程的病态条件数。
六、核心总结
该工作是 CNSNS 2026 年针对 AI+CFD、优化型偏微分求解领域的关键机理研究：跳出过往调参、网络改进的表层优化思路，回归数值线性代数的条件数本质，指出 MSE 损失存在与生俱来的数值缺陷，并提出通用、轻量化、全场景兼容的 SGR 稳定梯度残差损失函数。
在纯离散优化（ODIL）场景可达到接近 CG/GMRES 的收敛效率；在物理信息神经网络 PINNs 中稳定实现训练加速，为下一代高效 PDE 智能求解器提供全新损失函数设计范式。