18.3.4 贝尔曼最优性原理

求解泛函方程

\begin{matrix} (18.139) & ϕ_{j} ({\underset{―}{x}}_{j - 1}) = min_{{\underset{―}{u}}_{j} \in U_{j} ({\underset{―}{x}}_{j - 1})} H_{j} (f_{j} ({\underset{―}{x}}_{j - 1}, {\underset{―}{u}}_{j}), ϕ_{j + 1} ({\underset{―}{x}}_{j})) \end{matrix}

相当于确定最优策略 $({\underset{―}{u}}_{j}^{*}, \dots, {\underset{―}{u}}_{n}^{*})$ ,这一策略使得从状态 ${\underset{―}{x}}_{j - 1}$ 开始,由全过程 $P$ 的最后 $n - j + 1$ 级组成的子过程 $P_{j}$ 的费用函数达到极小,即

\begin{matrix} (18.140) & F_{j} (f_{j} ({\underset{―}{x}}_{j - 1}, {\underset{―}{u}}_{j}), \dots, f_{n} ({\underset{―}{x}}_{n - 1}, {\underset{―}{u}}_{n})) \to min! \end{matrix}

初始状态为 ${\underset{―}{x}}_{j - 1}$ 的子过程 $P_{j}$ 的最优策略与已经将 $P$ 驱动至状态 ${\underset{―}{x}}_{j - 1}$ 的前 $j - 1$ 级的决策 $({\underset{―}{u}}_{j}, \dots, {\underset{―}{u}}_{n})$ 无关. 为了确定 $ϕ_{j} ({\underset{―}{x}}_{j - 1})$ ,需要知道值 $ϕ_{j + 1} ({\underset{―}{x}}_{j})$ . 现在,如果 $({\underset{―}{u}}_{j}^{*}, \dots, {\underset{―}{u}}_{n}^{*})$ 是 $P_{j}$ 的最优策略,则显然 $({\underset{―}{u}}_{j + 1}^{*}, \dots, {\underset{―}{u}}_{n}^{*})$ 是初始状态为 ${\underset{―}{x}}_{j} = g_{j} ({\underset{―}{x}}_{j - 1}, {\underset{―}{u}}_{j}^{*})$ 的子过程 $P_{j + 1}$ 的最优策略. 这个命题在贝尔曼最优性原理中被进一步推广为贝尔曼原理.

贝尔曼原理如果 $({\underset{―}{u}}_{1}^{*}, \dots, {\underset{―}{u}}_{n}^{*})$ 是过程 $P$ 的最优策略,而 $({\underset{―}{x}}_{0}^{*}, \dots, {\underset{―}{x}}_{n}^{*})$ 是相应的状态序列,则对于每个子过程 $P_{j}, j = 1 (1) n$ ,在初始状态 ${\underset{―}{x}}_{j - 1}^{*}$ 下,策略 $({\underset{―}{u}}_{j}^{*}, \dots, {\underset{―}{u}}_{n}^{*})$ 也是最优的.

18.3.4 贝尔曼最优性原理 ​

18.3.4 贝尔曼最优性原理