强化学习与最优控制学习笔记1
前言
Turning to the succor of modern computing machines, let us renounce all analytic tools.
放弃传统纸笔符号解析推导，完全依靠计算机数值模拟、数值求解来处理复杂问题。---- Richard Bellman
From a teleological point of view, the particular numerical solution of any particular set of equations is of far less importance than the understanding of the nature of the solution.
从理论角度而言，方程组的具体数值解远不及对解本质特性的理解重要。（数值计算算出一组具体数字只是表层结果；研究真正的核心，是透过数值结果搞清楚解具备什么理论特征（会不会发散、是否稳定、解是否唯一等）。只盯着数字本身没有学术价值，把握底层规律才是研究目的）---- Richard Bellman本书内容涵盖
本书聚焦规模庞大、求解难度极高的多阶段优化问题。这类问题理论上虽可通过动态规划求解，但精确解的计算量极高，在实际中无法实现。书中将介绍各类近似求解方法，借助近似手段生成性能达标的次优策略。这类方法拥有多个内涵基本等同的统称：强化学习、近似动态规划、神经动态规划。
本书目标
本学科的发展极大得益于最优控制与人工智能两大领域的交叉融合：本书目标有二：
（1）探索最优控制与人工智能两门学科的交叉边界，搭建一座兼具两类领域研究者、易于理解互通的理论桥梁。
（2）系统梳理各类已在实际应用中收效显著、且具备扎实理论与逻辑支撑的方法体系，使之形成条理连贯的完整框架。
这有助于科研人员与工程从业者厘清当下层出不穷、各有侧重的主流技术思路，在纷繁复杂的理论体系中找准研究脉络。
基于动态规划的次优控制两类通用求解框架
- 值空间近似法（approximation in value space）
该方法不直接精确求解最优代价函数，而是选取一组参数化函数作为近似器，拟合真实最优代价函数，再基于近似函数生成次优控制策略。
该方法与动态规划的核心思想（值迭代、策略迭代）结合更为紧密。 - 策略空间近似（approximation in policy space）
该方法在经过适当限定的策略集合上开展优化（通常为某种形式的参数化策略族），以此选取最优策略。策略空间近似多采用类梯度下降这一普适性更强的优化机制。
两种方法可融合形成新的算法框架，从而使得算法可同时发挥二者各自的优势。
本书对策略空间近似展开了详尽论述，但全书大部分内容仍围绕值空间近似展开。 J J J
值空间近似的核心计算逻辑：
(1) 单步控制由有限时域优化结合近似未来代价 J ~ \tilde{J} J~共同算出；
(2) 值函数 J ~ \tilde{J} J~的求解手段多样，常结合仿真或启发策略；
(3) 仿真的核心优势：无需精准数学模型，让动态规划摆脱传统建模限制，也是强化学习得以落地的核心基础。`