12.8.3 牛顿方法

设 $X,D$ 如 12.8.2,且 $T:D\to Y$ . 假定 $T$ 在 $D$ 的每一点处可微,于是对每一点 $x\in D$ 可对应一算子 $T^{\prime }\left(x\right)\in B\left(X,Y\right)$ ,从而得到算子 $T^{\prime }:D\to B\left(X,Y\right)$ . 假定算子 $T^{\prime }$ 在 $D$ 上 (按算子范数) 连续,这时称 $T$ 在 $D$ 上连续可微.

假定 $X=Y$ ,并且集合 $D$ 含有方程

$$\begin{array}{}\text{(12.198)}& T\left(x\right)=0\end{array}$$

的一解 $x^{\ast }$ . 进而假定算子 $T^{\prime }\left(x\right)$ 对每一 $x\in D$ 连续可逆,因此 ${\left[T^{\prime }\left(x\right)\right]}^{-1}\in B\left(X\right)$ . 由于 (12.196),对于任意 $x_0\in D$ ,我们猜测元 $T\left(x_0\right)=T\left(x_0\right)-T\left(x^{\ast }\right)$ 和 $T^{\prime }\left(x_0\right)(x_0-$ $x^{\ast })$ 彼此相差 “不远”,因此由

$$\begin{array}{}\text{(12.199)}& x_1=x_0-{\left[T^{\prime }\left(x_0\right)\right]}^{-1}T\left(x_0\right)\end{array}$$

确定的元 $x_1$ 是 $x^{\ast }$ (在给定假设下) 的近似. 从任意 $x_0$ 出发,可以构造出所谓牛顿近似序列

$$\begin{array}{}\text{(12.200)}& x_{n+1}=x_n-{\left[T^{\prime }\left(x_n\right)\right]}^{-1}T\left(x_n\right)\left(n=0,1,\cdots \right).\end{array}$$

文献中有许多熟知的定理来讨论这一方法的特点和收敛性质. 这里我们仅列出一个最重要的结果,以说明牛顿方法的主要性质和优点: $\mathrm{\forall }\epsilon \in \left(0,1\right)$ ,存在 $X$ 中一球 $B=B\left(x_0;\delta \right),\delta =\delta \left(\epsilon \right)$ ,使得所有点 $x_n$ 位于 $B$ ,并且牛顿序列收敛于 (12.198) 的解 $x^{\ast }$ . 此外, $\Vert \begin{array}{c}{x}_n-x_0\end{array}\Vert \le {\epsilon }^n\Vert \begin{array}{c}{x}_0-x^{\ast }\end{array}\Vert$ ,这是一个很实用的误差估计.

如果在 (12.200) 中代替 ${\left[T^{\prime }\left(x_n\right)\right]}^{-1}$ 使用 ${\left[T^{\prime }\left(x_0\right)\right]}^{-1},\mathrm{\forall }n=1,2,\cdots$ ,则得到改进的牛顿方法. 至于牛顿方法的收敛速度的进一步估计,以及对于初始点 $x_0$ 选择的 (一般是敏感的) 依赖性研究, 可参阅 [12.7], [12.13], [12.15], [12.21].

$◼$ 雅可比矩阵或泛函矩阵 给定开集 $D\subset {\mathbb{R}}^n$ 上的非线性算子 $T=F:D\to {\mathbb{R}}^m$ , 其中 $F_1,F_2,\cdots ,F_m$ 为 $m$ 个非线性坐标函数, $x_1,x_2,\cdots ,x_n$ 为 $n$ 个独立变量. 那么

$$\begin{array}{}\text{(12.201)}& F\left(x\right)=\left[\begin{array}{c}{F}_1\left(x\right)\\ F_2\left(x\right)\\ ⋮\\ F_m\left(x\right)\end{array}\right]\in {\mathbb{R}}^m,\mathrm{\forall }x=\left(x_1,x_2,\cdots ,x_n\right)\in D.\end{array}$$

如果坐标函数 $F_i\left(i=1,2,\cdots ,m\right)$ 的偏导数 $\frac{\partial F_i}{\partial x_k}\left(k=1,2,\cdots ,n\right)$ 在 $D$ 上存在且连续,那么映射 (算子) $F$ 在 $D$ 的每个点上可微,并且其在点 $x=\left(x_1,x_2,\cdots ,x_n\right)\in$ $D$ 的导数是线性算子 $F^{\prime }\left(x\right):{\mathbb{R}}^n\to {\mathbb{R}}^m$ ,相应的矩阵表达为

$$\begin{array}{}\text{(12.202)}& F^{\prime }\left(x\right)=\left(\begin{array}{cccc}\frac{\partial F_1}{\partial x_1}& \frac{\partial F_1}{\partial x_2}& \cdots & \frac{\partial F_1}{\partial x_n}\\ \frac{\partial F_2}{\partial x_1}& \frac{\partial F_2}{\partial x_2}& \cdots & \frac{\partial F_2}{\partial x_n}\\ ⋮& ⋮& & ⋮\\ \frac{\partial F_m}{\partial x_1}& \frac{\partial F_m}{\partial x_2}& \cdots & \frac{\partial F_m}{\partial x_n}\end{array}\right).\end{array}$$

导数 $F^{\prime }\left(x\right)$ 是(m, n)阶矩阵,称作 $F$ 的雅可比矩阵或泛函矩阵. 应用牛顿迭代方法 (参见第 1250 页 19.2.2.2) 求解非线性方程组, 或者刻画函数独立性 (参见第 159 页 2.18.2.6, 3) 时就出现雅可比矩阵这种特殊情形.

当 $m=n$ 时,就得到所谓的泛函行列式或雅可比行列式,简记作

$$\begin{array}{}\text{(12.203)}& \frac{D\left(F_1,F_2,\cdots ,F_m\right)}{D\left(x_1,x_2,\cdots ,x_n\right)}.\end{array}$$

这个行列式大多用于内部数学问题的求解 (例如, 也可参见第 712 页 8.5.3.2).