16.3.4 相关和回归

相关分析根据试验数据确定总体两个或两个以上变量之间是否存在某种相关关系, 回归分析用于确定变量间相关关系的形式.

16.3.4.1 两个可测变量的线性相关

1. 二维随机变量

下述公式通常适用于连续随机变量, 但对离散变量, 很容易用相应公式进行替换. 设 $X$ 和 $Y$ 构成二维随机变量(X, Y),其联合分布函数为

$$\begin{array}{}\text{(16.146a)}& F\left(x,y\right)=P\left(X\le x,Y\le y\right)={\int }_{-\mathrm{\infty }}^x{\int }_{-\mathrm{\infty }}^{y}f\left(x,y\right)\mathrm{d}x\mathrm{d}y,\end{array}$$$$\begin{array}{}\text{(16.146b)}& F_1\left(x\right)=P\left(X\le x,Y<\mathrm{\infty }\right),F_2\left(y\right)=P\left(X<\mathrm{\infty },Y\le y\right).\end{array}$$

随机变量 $X$ 和 $Y$ 称为相互独立,如果

$$\begin{array}{}\text{(16.147)}& F\left(x,y\right)=F_1\left(x\right)\cdot F_2\left(y\right)\end{array}$$

成立. 由其联合密度函数 $f\left(x,y\right)$ 确定、对应于 $X$ 和 $Y$ 的基本统计量如下:

(1) 期望

$$\begin{array}{}\text{(16.148a)}& {\mu }_X=E\left(X\right)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}xf\left(x,y\right)\mathrm{d}x\mathrm{d}y,\end{array}$$$$\begin{array}{}\text{(16.148b)}& {\mu }_Y=E\left(Y\right)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}yf\left(x,y\right)\mathrm{d}x\mathrm{d}y.\end{array}$$

(2) 方差

$$\begin{array}{}\text{(16.149a)}& {\sigma }_X^2=E\left({(X-{\mu }_X)}^2\right),\end{array}$$$$\begin{array}{}\text{(16.149b)}& {\sigma }_Y^2=E\left({(Y-{\mu }_Y)}^2\right).\end{array}$$

(3) 协方差

$$\begin{array}{}\text{(16.150)}& {\sigma }_{XY}=E\left(\left(X-{\mu }_X\right)\left(Y-{\mu }_Y\right)\right).\end{array}$$

(4) 相关系数

$$\begin{array}{}\text{(16.151)}& {\rho }_{XY}=\frac{{\sigma }_{XY}}{{\sigma }_X{\sigma }_Y}.\end{array}$$

假定上述任一期望值都存在. 协方差也可由下述公式计算

$$\begin{array}{}\text{(16.152)}& {\sigma }_{XY}=E\left(XY\right)-{\mu }_X{\mu }_Y,\text{ 其中 }E\left(XY\right)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}xyf\left(x,y\right)\mathrm{d}x\mathrm{d}y.\end{array}$$

相关系数是对 $X$ 和 $Y$ 线性相关关系的度量,原因如下:

若 ${\rho }_{XY}^2=1$ ,则所有的点(X, Y)以概率 1 位于一条直线上. 若 $X$ 和 $Y$ 是独立随机变量,则其协方差等于 $0,{\rho }_{XY}=0$ . 由 ${\rho }_{XY}=0$ ,并不能推出 $X$ 和 $Y$ 独立, 但当它们服从密度函数为

$$f\left(x,y\right)=\frac{1}{2\pi {\sigma }_X{\sigma }_Y\sqrt{1-{\rho }_{XY}^2}}\exp$$$$\cdot \left[-\frac{1}{2\left(1-{\rho }_{XY}^2\right)}\left(\frac{{(x-{\mu }_X)}^2}{{\sigma }_X^2}-2\frac{{\rho }_{XY}\left(x-{\mu }_X\right)\left(y-{\mu }_Y\right)}{{\sigma }_X{\sigma }_Y}+\frac{{(y-{\mu }_Y)}^2}{{\sigma }_Y^2}\right)\right]$$

(16.153)

的二维正态分布时,则由 ${\rho }_{XY}=0$ 可得到 $X$ 和 $Y$ 独立.

2. 两个变量的独立性检验

在实践中经常遇到问题: 当 ${\rho }_{XY}=0$ 时,随机变量 $X$ 和 $Y$ 是否可视为相互独立? 其中样本容量为 $n$ ,来自于二维正态分布总体,且有测量数据 $\left(x_i,y_i\right)(i=$ $1,2,\cdots ,n)$ . 检验方式如下.

(1) 提出假设 $H:{\rho }_{XY}=0$ .

(2) 确定显著性水平 $\alpha$ ,由 1463 页表 21.20 查出 $t$ 分布的分位数 $t_{\alpha ,m}$ ,其中 $m=n-2$ .

(3) 计算经验相关系数 $r_{xy}$ 和检验统计量 (样本函数)

$$\begin{array}{}\text{(16.154a)}& t=\frac{r_{xy}\sqrt{n-2}}{\sqrt{1-r_{xy}^2}}\end{array}$$

且

$$\begin{array}{}\text{(16.154b)}& r_{xy}=\frac{\sum _{i=1}^n\left(x_i-\overline{x}\right)\left(y_i-\overline{y}\right)}{\sqrt{\sum _{i=1}^n{(x_i-\overline{x})}^2\sum _{i=1}^n{(y_i-\overline{y})}^2}}.\end{array}$$

(4) 若 $\left|t\right|\ge t_{\alpha ,m}$ ,则拒绝假设.

16.3.4.2 两个可测变量的线性回归

1. 确定回归直线

如果说通过相关系数可探寻变量 $X$ 和 $Y$ 之间的相关关系,那么,下一个问题就是寻找其函数关系式 $Y=f\left(X\right)$ . 这时通常考虑线性关系.

在最简单的线性回归情形下,假设对于任意定值 $x$ ,总体中随机变量 $Y$ 服从正态分布, 且期望为

$$\begin{array}{}\text{(16.155)}& E\left(Y\right)=a+bx\end{array}$$

方差为 ${\sigma }^2$ ,与 $x$ 相互独立. (16.155) 即指随机变量 $Y$ 的均值线性依赖于定值 $x$ . 总体的参数 $a,b$ 和 ${\sigma }^2$ 通常未知,可根据样本数据 $\left(x_i,y_i\right)\left(i=1,2,\cdots ,n\right)$ 运用最小二乘法近似估计. 最小二乘法要求

$$\begin{array}{}\text{(16.156)}& \sum _{i=1}^n{[y_i-(a+b{x}_i)]}^2=min!\end{array}$$

成立, 从而可得估计值

$$\begin{array}{}\text{(16.157a)}& \tilde{b}=\frac{\sum _{i=1}^n\left(x_i-\overline{x}\right)\left(y_i-\overline{y}\right)}{\sum _{i=1}^n{(x_i-\overline{x})}^2},\tilde{a}=\overline{y}-\tilde{b}\overline{x},{\tilde{\sigma }}^2=\frac{n-1}{n-2}{s}_y^2\left(1-r_{xy}^2\right)\end{array}$$

且.

$$\begin{array}{}\text{(16.157b)}& \overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i,\overline{y}=\frac{1}{n}\sum _{i=1}^n{y}_i,s_y^2=\frac{1}{n-1}\sum _{i=1}^n{(y_i-\overline{y})}^2.\end{array}$$

(16.154b) 给出了经验相关系数 $r_{xy}$ . 系数 $\tilde{a}$ 和 $\tilde{b}$ 称为回归系数. 直线 $y\left(x\right)=\tilde{a}+\tilde{b}x$ 称为回归直线.

2. 回归系数的置信区间

当确定了回归系数 $\tilde{a}$ 和 $\tilde{b}$ 后,下一个问题就是,如何较好地近似估计理论值 $a$ 和 $b$ . 故检验变量形如

$$\begin{array}{}\text{(16.158a)}& t_b=\left(\tilde{b}-b\right)\frac{s_x\sqrt{n-2}}{s_y\sqrt{1-r_{xy}^2}}\end{array}$$

和

$$\begin{array}{}\text{(16.158b)}& t_a=\left(\tilde{a}-a\right)\frac{s_x\sqrt{n-2}}{s_y\sqrt{1-r_{xy}^2}}\frac{\sqrt{n}}{\sqrt{\sum _{i=1}^n{x}_i^2}}.\end{array}$$

这是服从自由度为 $m=n-2$ 的 $t$ 分布的随机变量的实现. 给定显著性水平 $\alpha$ ,查 1463 页表 21.20 可得分位数 $t_{\alpha /2;m}$ ,对于 $t=t_a$ 和 $t=t_b$ ,由于 $P\left(\left|t\right|<t_{\alpha /2;m}\right)=$ $1-\alpha$ 成立,故

$$\begin{array}{}\text{(16.159a)}& \left|\tilde{b}-b\right|<t_{\alpha /2;n-2}\frac{s_y\sqrt{1-r_{xy}^2}}{s_x\sqrt{n-2}},\end{array}$$$$\begin{array}{}\text{(16.159b)}& \left|\tilde{a}-a\right|<t_{\alpha /2;n-2}\frac{s_y\sqrt{1-r_{xy}^2}\cdot \sqrt{\sum _{i=1}^n{x}_i^2}}{s_x\sqrt{n-2}\cdot \sqrt{n}}.\end{array}$$

回归直线 $y=a+bx$ 的置信域,可由式 (16.159a,16.159b) 所给出的 $a,b$ 的置信区间确定 (参见文献 [16.4], [16.26]).

16.3.4.3 多元回归

1. 函数关系

设变量 $X_1,X_2,\cdots ,X_n$ 和 $Y$ 之间存在函数关系,该关系可用理论回归函数

$$\begin{array}{}\text{(16.160)}& y=f\left(x_1,x_2,\cdots ,x_n\right)=\sum _{j=0}^s{a}_j{g}_j\left(x_1,x_2,\cdots ,x_n\right)\end{array}$$

描述. 函数 $g_j\left(x_1,x_2,\cdots ,x_n\right)$ 是关于 $n$ 个独立变量的已知函数. (16.160) 中的系数 $a_j$ 是线性组合中的常数乘子. 式 (16.160) 也称为线性回归,虽然 $g_j$ 可是任意函数.

| 函数 $f\left(x_1,x_2\right)=a_0+a_1{x}_1+a_2{x}_2+a_3{x}_1^2+a_4{x}_2^2+a_5{x}_1{x}_2$ 是关于两个变量的完全二次多项式,其中 $g_0=1,g_1=x_1,g_2=x_2,g_3=x_1^2,g_4=x_2^2,g_5=x_1{x}_2$ ,是理论线性回归函数的一个实例.

2. 向量形式的记法

在多元情形, 以向量

$$\begin{array}{}\text{(16.161)}& \underset{―}{\mathbf{x}}={(x_1,x_2,\cdots ,x_n)}^{\mathrm{T}}\end{array}$$

的形式记公式很方便. 此时, (16.160) 可记为

$$\begin{array}{}\text{(16.162)}& y=f\left(\underset{―}{\mathbf{x}}\right)=\sum _{j=0}^s{a}_j{g}_j\left(\underset{―}{\mathbf{x}}\right).\end{array}$$

3. 正则方程组及求解

由于随机测量存在误差, 理论关系式 (16.160) 不能由测量值

$$\begin{array}{}\text{(16.163a)}& \left({\underset{―}{\mathbf{x}}}^{\left(i\right)},f_i\right)\left(i=1,2,\cdots ,N\right)\end{array}$$

确定. 以

$$\begin{array}{}\text{(16.163b)}& y=\tilde{f}\left(\underset{―}{\mathbf{x}}\right)=\sum _{j=0}^s{\tilde{a}}_j{g}_j\left(\underset{―}{\mathbf{x}}\right)\end{array}$$

的形式求其解,系数 ${\tilde{a}}_j$ 作为理论系数 $a_j$ 的估计值,可通过最小二乘法 (参见第 1097 页 16.3.4.2, 1.) 由方程

$$\begin{array}{}\text{(16.163c)}& \sum _{i=1}^N{[f_i-\tilde{f}\left({\underset{―}{\mathbf{x}}}^{\left(i\right)}\right)]}^2=min!\end{array}$$

确定. 引入记号

$$\underset{―}{\tilde{\mathbf{a}}}=\left(\begin{array}{c}{\tilde{a}}_0\\ {\tilde{a}}_1\\ ⋮\\ {\tilde{a}}_s\end{array}\right),\underset{―}{\mathbf{f}}=\left(\begin{array}{c}{f}_1\\ f_2\\ ⋮\\ f_N\end{array}\right),\mathbf{G}=\left(\begin{array}{cccc}{g}_0\left({\underset{―}{\mathbf{x}}}^{\left(1\right)}\right)& g_1\left({\underset{―}{\mathbf{x}}}^{\left(1\right)}\right)& \cdots & g_s\left({\underset{―}{\mathbf{x}}}^{\left(1\right)}\right)\\ g_0\left({\underset{―}{\mathbf{x}}}^{\left(2\right)}\right)& g_1\left({\underset{―}{\mathbf{x}}}^{\left(2\right)}\right)& \cdots & g_s\left({\underset{―}{\mathbf{x}}}^{\left(2\right)}\right)\\ ⋮& ⋮& \ddots & ⋮\\ g_0\left({\underset{―}{\mathbf{x}}}^{\left(N\right)}\right)& g_1\left({\underset{―}{\mathbf{x}}}^{\left(N\right)}\right)& \cdots & g_s\left({\underset{―}{\mathbf{x}}}^{\left(N\right)}\right)\end{array}\right)$$

(16.163d)

由 (16.163c) 可得到所谓正则方程组

$$\begin{array}{}\text{(16.163e)}& G^{\mathrm{T}}G\widetilde{\underset{―}{a}}=G^{\mathrm{T}}\underset{―}{f}\end{array}$$

用来确定 $\underset{―}{\tilde{a}}$ . 矩阵 ${\mathbf{G}}^{\mathrm{T}}\mathbf{G}$ 对称,故楚列斯基方法 (参见第 1245 页 19.2.1.2) 特别适用于求解式 (16.163e).

$◼$ 根据下表中列出的样本数据, 试确定回归函数 (16.164) 的系数:

$$\begin{array}{}\text{(16.164)}& \tilde{f}\left(x_1,x_2\right)=a_0+a_1{x}_1+a_2{x}_2.\end{array}$$

$x_1$	5	3	5	3
$x_2$	0.5	0.5	0.3	0.3
$f\left(x_1,x_2\right)$	1.5	3.5	6.2	3.2

由 (16.163d) 可推出

$$\begin{array}{}\text{(16.165)}& \widetilde{\underset{―}{\mathbf{a}}}=\left(\begin{array}{c}{\tilde{a}}_0\\ {\tilde{a}}_1\\ {\tilde{a}}_2\end{array}\right),\underset{―}{\mathbf{f}}=\left(\begin{array}{c}1.5\\ 3.5\\ 6.2\\ 3.2\end{array}\right),\mathbf{G}=\left(\begin{array}{ccc}1& 5& 0.5\\ 1& 3& 0.5\\ 1& 5& 0.3\\ 1& 3& 0.3\end{array}\right)\end{array}$$

且 (16.163e) 式为

$$4{\tilde{a}}_0+16{\tilde{a}}_1+1.6{\tilde{a}}_2=14.4,{\tilde{a}}_0=7.0,$$$$\begin{array}{}\text{(16.166)}& 16{\tilde{a}}_0+68{\tilde{a}}_1+6.4{\tilde{a}}_2=58.6,\text{即}{\tilde{a}}_1=0.25\text{,}\end{array}$$$$1.6{\tilde{a}}_0+6.4{\tilde{a}}_1+0.68{\tilde{a}}_2=5.32,{\tilde{a}}_2=-11.$$

4. 注

(1) 为确定回归系数,使用插值 $\tilde{f}\left({\underset{―}{\mathbf{x}}}^{\left(i\right)}\right)=f_i\left(i=1,2,\cdots ,N\right)$ ,即

$$\begin{array}{}\text{(16.167)}& G\underset{―}{\tilde{a}}=\underset{―}{f}.\end{array}$$

当 $s<N$ 时,(16.167) 是超定方程组,可用豪斯霍尔德法求其解 (参见第 1280 页 19.6.2.2). 用 ${\mathbf{G}}^{\mathrm{T}}$ 乘以 (16.167) 式则得到 (16.163e),也称为高斯变换. 若矩阵 $\mathbf{G}$ 的列线性无关,即矩阵 $\mathbf{G}$ 的秩等于 $s+1$ ,则正则方程组 (16.163e) 有唯一解,这与由豪斯霍尔德法所得到的结果 (16.167) 一致.

(2) 在多元情形下,也可以使用 $t$ 分布确定回归系数的置信区间,与 $(16.159\mathrm{a}$ , 16.159b) 类似.

(3) 借助于 $F$ 分布 (参见第 1075 页 16.2.4.7),使用所谓等价检验分析 (16.163b) 式也是可行的. 检验可判断形如 (16.163b) 但有较少项的解是否为理论回归函数 (16.160) 的充分逼近 (参见文献 [16.9]).