跳转至

多重输出的收缩和选择

1 概述

  • 多重输出线性模型的最小二乘估计可以简单地看成是关于每个输出的最小二乘估计

  • 在多重输出情况下应用选择和收缩的方法

  • 可以对每个输出变量单独地应用单变量的技巧

  • 或对全部的输出变量同时进行

  • 例如对于岭回归的每一列，应用

  • 第一种策略允许对不同的输出应用不同程度的正则化，但是需要估计 个独立的正则化参数

  • 第二种策略可以在估计单独的正则化参数 时应用全部的 个输出

  • 更复杂的收缩和选择的策略可以利用多重输出情形中不同响应变量间的相关性，例如在输出变量有 这种情况下，两者享有相同的结构, 因此应该合并 和 来估计共同的

2 典型相关分析

  • 概念：典型相关分析 (canonical correlation analysis, CCA) 的核心是合并响应变量，是一种为多元输出情形提出的数据降维的技巧。CCA是在进行降维，将高维数据降到1维，然后再用相关系数进行相关性的分析

  • 算法过程：

  • 重复一下过程次，即

    • 对进行降维，找到与之前预测变不相关的线性组合
    • 对进行降维，找到与之前不相关的线性组合
    • 最大化系数

  • 第一典则响应变量就是被最优预测的线性组合导出的响应变量

  • 最后典则响应变量就是被估计最差的

  • 具体求解方法

  • CCA 的解通过对样本交叉协方差矩阵进行SVD得到

  • 具体请参考习题 Ex 3.20

  • 被称为左典则向量，称为右典则向量

3 降秩回归

  • 概念：降秩回归 (reduced-rank regression) 采用显式地合并信息的回归模型，并且可以形式化

  • 形式化公式（给定误差协;方差）

  • 求解：

  • 将 用估计值 替换, 可以得出其解为

    • 其中是前列构成的的子矩阵，是的左典则向量构成的矩阵，是其广义逆

  • 求解过程参考习题 Ex 3.21

  • 几何解释

  • 上式可以改写为

  • 因此有

    • 其中 是一般的线性回归映射算子，而 是秩为 的 CCA 响应变量投影算子

    • 可以看到其实有 其实，降秩回归就是在合并的响应矩阵上进行回归，线性回归，然后将系数映射回原来的响应变量空间中

  • 一些其他形式的降秩回归

  • Breiman and Friedman (1997), 探索了 和 间典则变量的逐步收缩，是光滑版本的降秩回归

    • 是对角收缩矩阵

    • 其中 是第 个典则相关系数

    • 随着输入变量个数与样本大小的比率变小，收缩因子趋向于 1

    • 拟合响应形式为

  • Breiman and Friedman (1997) 建议同时在 和 的空间中进行收缩，导出混合收缩模型