最大似然估计和最小二乘法怎么理解?

最大似然估计和最小二乘法怎么理解?

有些答案纯属盲人摸象,并未触及本质。

从概率论的角度:

-------------------------------------------------------------------

下面贴一下我以前的推导给大家参考,相信会有启发。如有错误还望指正 -_-

注意:

-------------------------------------------------------------------

首先假设线性回归模型具有如下形式:

其中,,误差。

当前已知,,怎样求呢?

策略1. 假设,也就是说,那么用最大似然估计推导:

这不就是最小二乘么。

策略2. 假设,,那么用最大后验估计推导:

这不就是 Ridge 回归么?

策略3. 假设,,同样用最大后验估计推导:

这不就是 LASSO 么?

不知大家看懂没,简直是完美统一啊。

作业:)

参考文献:

[1] Machine Learning

[2] The Elements of Statistical Learning

-------------------------------------------------------------------

小广告:求一份初级的机器学习/数据挖掘相关工作职位。