4.6.3 奇异值分解

(1) 奇异值和奇异向量 设 $\mathbf{A}$ 是大小为(m, n)的实矩阵,秩等于 $r$ . 矩阵 $\mathbf{A}{\mathbf{A}}^{\mathrm{T}}$ 和 ${\mathbf{A}}^{\mathrm{T}}\mathbf{A}$ 有 $r$ 个非零特征值 ${\lambda }_{\nu }$ ,并且对于这两个矩阵它们是相同的. 矩阵 ${\mathbf{A}}^{\mathrm{T}}\mathbf{A}$ 的特征值 ${\lambda }_{\nu }$ 的正平方根 $d_{\nu }=\sqrt{{\lambda }_{\nu }}\left(\nu =1,2,\cdots ,r\right)$ 称为矩阵 $\mathbf{A}$ 的奇异值. ${\mathbf{A}}^{\mathrm{T}}\mathbf{A}$ 对应的特征向量 ${\underset{―}{\mathbf{u}}}_{\nu }$ 称为矩阵 $\mathbf{A}$ 的右奇异向量, $\mathbf{A}{\mathbf{A}}^{\mathrm{T}}$ 对应的特征向量 ${\underset{―}{\mathbf{v}}}_{\nu }$ 称为左奇异向量:

$$\begin{array}{}\text{(4.222a)}& {\mathbf{A}}^{\mathrm{T}}\mathbf{A}{\underset{―}{\mathbf{u}}}_{\nu }={\lambda }_{\nu }{\underset{―}{\mathbf{u}}}_{\nu },\mathbf{A}{\mathbf{A}}^{\mathrm{T}}{\underset{―}{\mathbf{v}}}_{\nu }={\lambda }_{\nu }{\underset{―}{\mathbf{v}}}_{\nu }\left(\nu =1,2,\cdots ,r\right).\end{array}$$

左右奇异向量间的关系是

$$\begin{array}{}\text{(4.222b)}& \mathbf{A}{\underset{―}{\mathbf{u}}}_{\nu }=d_{\nu }{\underset{―}{\mathbf{v}}}_{\nu },{\mathbf{A}}^{\mathrm{T}}{\underset{―}{\mathbf{v}}}_{\nu }=d_{\nu }{\underset{―}{\mathbf{u}}}_{\nu }.\end{array}$$

秩为 $r$ 的大小为(m, n)的矩阵 $\mathbf{A}$ 有 $r$ 个正奇异值 $d_{\nu }\left(\nu =1,2,\cdots ,r\right)$ ,有 $r$ 个正交规范化右奇异向量 ${\underset{―}{u}}_{\nu }$ 和 $r$ 个正交规范化左奇异向量 ${\underset{―}{v}}_{\nu }$ . 此外,对于零奇异值存在 $n-r$ 个正交规范化右奇异向量 ${\underset{―}{\mathbf{u}}}_{\nu }\left(\nu =r+1,\cdots ,n\right)$ 和 $m-r$ 个正交规范化左奇异向量 ${\underset{―}{v}}_{\nu }\left(\nu =r+1,\cdots ,m\right)$ . 因此,大小为(m, n)的矩阵有 $n$ 个右奇异向量和 $m$ 个左奇异向量,并且可由它们构成两个正交矩阵

$$\begin{array}{}\text{(4.223)}& \mathbf{U}=\left({\underset{―}{\mathbf{u}}}_1,{\underset{―}{\mathbf{u}}}_2,\cdots ,{\underset{―}{\mathbf{u}}}_n\right),\mathbf{V}=\left({\underset{―}{\mathbf{v}}}_1,{\underset{―}{\mathbf{v}}}_2,\cdots ,{\underset{―}{\mathbf{v}}}_m\right)\end{array}$$

(参见第 368 页 4.1.4, 9.).

(2) 奇异值分解 表达式

$$\begin{array}{}\text{(4.224a)}& \mathbf{A}=\mathbf{V}\hat{\mathbf{A}}{\mathbf{U}}^{\mathrm{T}}\end{array}$$

称为矩阵 $\mathbf{A}$ 的奇异值分解,其中(4.224b)

矩阵 $\hat{\mathbf{A}}$ 与矩阵 $\mathbf{A}$ 的大小同为(m, n),并且除最初 $r$ 个对角元 ${\hat{a}}_{\nu \nu }=d_{\nu }(\nu =$ $1,2,\cdots ,r)$ 外,只有零元素. 数 $d_{\nu }$ 是 $\mathbf{A}$ 的奇异值.

注 用 ${\mathbf{A}}^{\mathrm{H}}$ 代替 ${\mathbf{A}}^{\mathrm{T}}$ ,并且代替正交矩阵考虑酉矩阵 $\mathbf{U}$ 和 $\mathbf{V}$ ,那么关于奇异值分解的所有论述对于复元素矩阵也成立.

(3) 应用 奇异值分解可用来确定大小为(m, n)的矩阵 $\mathbf{A}$ 的秩,并且可用于超定方程组 $\mathbf{A}\underset{―}{\mathbf{x}}=\underset{―}{\mathbf{b}}$ (参见第 419 页 4.5.3.1) 的近似解的计算,即借助所谓正则化方法解问题

$$\begin{array}{}\text{(4.225)}& \parallel \mathbf{A}\underset{―}{\mathbf{x}}-\underset{―}{\mathbf{b}}{\parallel }^2+\alpha \parallel \underset{―}{\mathbf{x}}{\parallel }^2=\sum _{i=1}^m{[\sum _{k=1}^n{a}_{ik}{x}_k-b_i]}^2+\alpha \sum _{k=1}^n{x}_k^2=min!,\end{array}$$

其中 $\alpha >0$ 是正则化参数.