结构化的回归模型

1 问题的困难度

• 对任意函数 $f​$,考虑 $RSS​$ 准则 $$RSS(f) = \sum_{i=1}^N (y_i-f(x_i))^2$$ 如果在每个 $x_i​$ 值处有多个观测对$(x_i,y_{il}),l=1,…,N_i​$，风险会被限制．在这种情形下，解会过每个 $x_i​$ 对应的所有 $y_{il}​$ 的平均值。2.4 统计判别理论中已经讨论到了，同时可以看Ex 2.6。

• 一般地，大多数学习方法施加的约束条件都可以描述为这样或那样对复杂度的限制．这通常也意味着在输入空间的小邻域的一些规则的行为．这就是，对于在某种度量下充分互相接近的所有输入点 $x$，$f​$ 展现了一些特殊的结构比如说接近常值，线性或者低次的多项式．然后通过在邻域中平均或者进行多项式拟合得到估计量。

• 任何在 各向同性的 (isotropic) 邻域中试图产生局部变化的函数会在高维中遇到问题——还是维数灾难．相反地，所有克服维数问题的方法在衡量邻域时有一个对应的度量（经常是隐式的或者自适应的），该度量的基本要求是不允许邻域在各个方向都同时小．