
有些答案纯属盲人摸象,并未触及本质。
从概率论的角度:
-------------------------------------------------------------------
下面贴一下我以前的推导给大家参考,相信会有启发。如有错误还望指正 -_-
注意:
-------------------------------------------------------------------
首先假设线性回归模型具有如下形式:
其中,,误差。
当前已知,,怎样求呢?
策略1. 假设,也就是说,那么用最大似然估计推导:
这不就是最小二乘么。
策略2. 假设,,那么用最大后验估计推导:
这不就是 Ridge 回归么?
策略3. 假设,,同样用最大后验估计推导:
这不就是 LASSO 么?
不知大家看懂没,简直是完美统一啊。
作业:)
参考文献:
[1] Machine Learning
[2] The Elements of Statistical Learning
-------------------------------------------------------------------
小广告:求一份初级的机器学习/数据挖掘相关工作职位。
