投影寻踪回归¶

1 概念¶

投影寻踪（Projection Pursuit,简称PP）是处理分析高维数据的一种方法。通过极值化选定的投影指标，寻找最能反映数据特征的投影方向，将高维数据投影到低维空间，进行分析。

公式 $I(\hat k) = s(\hat k)\cdot d(\hat k)$
其中 $s(\hat k)$ 是投影值的标准差，反应类间距离( $p$ ：部分投影值极端的点被从求和中忽略) $s(\hat k) = \sqrt{\sum_{i=pN}^{(1-p)N}\frac{(\vec x_i\cdot \hat k - \bar x_k)}{(1-2p)N}} \\ \bar x_k = \sum_{i=pN}^{(1-p)N}\frac{\vec x_i\cdot \hat k}{(1-2p)N}$
$d(\hat k)$ 是在投影方向 $\hat{k}$ 下，投影值的局部密度，反映类内距离 $d(\hat k) = \sum_{i=l}^N\sum_{j=l}^N f(r_{ij})[0 \lt r_{ij} \lt R]\\ r_{ij}=|\vec x_i\cdot\hat k - \vec x_j\cdot\hat k|\\$

$f(r_{ij})$ 是严格递减函数，且当 $r=R$ 时为 $0$ , 例如 $f(r)=R-r\\ f(r) = R^2-r^2$
若类间距离 $s(\hat k)$ 越大，类内距离 $d(\hat k)$ 越小，则表示投影效果越好
还有方差投影指标等

公式 $s(\hat k, \hat l) = s(\hat k)\cdot s(\hat l)\\ d(\hat k, \hat l) = \sum_{i=1}^N\sum_{j=1}^N f(r_{ij})[0 \lt r_{ij} \lt R]\\ r_{ij}=\left [(\vec x_i\cdot\hat k - \vec x_j\cdot\hat k)^2+(\vec x_i\cdot\hat l - \vec x_j\cdot\hat l)^2 \right ]\\$

对于 $n$ 个观测样本 $(x_i,y_i)$ , 对 $x_i$ 按照 $\alpha_n$ 进行投影, 得到 $z_i = \alpha_n^Tx_i$ , 对于 $(z_i, y_i)$ 进行回归得到岭函数 $\mathbf{y} = S_{\alpha_n}(\mathbf{z})+\mathbf{r}$
其中岭函数的拟合是确定 $S$ 的数学形式以及参数 $\alpha$ 的过程，使用非参数回归的方法，目标是使得投影寻踪指标 $I(\alpha)$ 最大化。例如 $I(\alpha) = 1 - \frac{(\mathbf{y}-S_{\alpha}(\mathbf{z}))^T(\mathbf{y}-S_{\alpha}(\mathbf{z}))}{\mathbf{y}^T\mathbf{y}}$
若 $I(\alpha)$ 小于人为设定的阈值为止，停止迭代
另残差 $\mathbf{r}=\mathbf{y}-S_{\alpha}$ 作为新的 $\mathbf{y}$ ，并且选取新的方向 $\alpha_{n+1}$ ，重新执行步骤1