子空间与投影矩阵

1 子空间

• 向量张成子空间：设$x_1,x_2,...,x_p$是$R^N$的$p$个向量，他们所有可能的线性组合所成的集是$R^N$的一个子空间，称为$x_1,x_2,...,x_p$张成的子空间

• 矩阵的列空间：若$X​$的列向量的所有线性组合的集合构成一个子空间，称为矩阵$X​$的列空间$Col(X)​$ $$X=(x_1,x_2,...,x_p)\\ k_1x_2+k_2x_2+...+k_px_p \in Col(X)$$

2 子空间投影

• 问题描述：设矩阵$X= (x_1,x_2,...,x_p)​$的张成$R^N​$的子空间$S=Col(X)​$, 将$y​$投影到子空间$S​$中。
• 假设:

• $X_{Np}$列小于行，即$p<N$，且列满秩

• 投影方法：

• 设投影后的向量为$\hat y = X\beta$

• 做出向量$y​$到子空间$Col(A)​$的垂线$e=y-\hat y​$

• 可以得到$X^Te=X^T(y-X\beta)=0​$，即$X^TX\beta=X^Ty​$

• 由于$X$列满秩，所以$X^T X$一定可逆，所以$\beta = (X^TX)^{-1}X^Ty$

  • 证明：若$A$列满秩，则$A^TA$必定可逆

  由于$A$的列线性无关，所以$Ax=0$的解只有$0$解，则只需要证明$A^TAx=0$的解和$Ax=0$ 的解等价即可（方阵可逆的等价条件就是齐次方程只有0解）

  • 若$Ax=0$， 则$A^TAx = 0$
  • 若$A^TAx =0$则$x^TA^TAx=(Ax)^TAx=0$，则$Ax=0$
  • 证毕

• 性质

• 在子空间内的任意向量，经过$\beta$多次变化之后，仍然是原始向量