
最小角回归算法是前向选择算法的快速性与前向梯度算法的准确性两者间的折中。
计算流程: 1. 标准化数据集 2. 初始残差向量设置为 ;并选择与其相关度最高(如余弦值最小)的特征向量 方向,在该方向 移动一小步 ,得到下一轮的目标残差方向 ,并且该方向为 与剩余特征集合中相关度最高的特征向量相关度的角平分线上。 3. 以全量特征向量为候选集,重复步骤(1)直至终止条件。
终止条件为:
在最小角回归算法中,各特征向量最多使用一次,其通过准确得到每步最优的分解长度保证了计算的准确性和速度。其主要优点包括:
但注意到最小角回归的迭代方向是基于目标残差方向,所以其很容易受到噪声的影响。
运行结果
