Minimum Mean Squared Error (MMSE)最小均方误差

最小二乘（LS）问题是这样一类优化问题，目标函数是若干项的平方和，每一项具有形式，具体形式如下：
minimize （式1）
但是，我们在实际优化问题中经常看到的是另一种表示形式：
（式2）
其中是真值，是估计值，式1和式2是一样的，只是用的符号不同，式1中的对应式2中的，即优化中要求的变量。

------------------------------------------------------------------------
作为过渡概念，LS的一种更复杂也更灵活的变形：
加权最小二乘 根据实际问题考虑每个求和项的重要程度，即加权值w，如下：

------------------------------------------------------------------------
均方误差（MSE）是一种加权最小二乘，它的权值是概率

最小二乘法（LS）：观测值与实际数据误差平方和最小，min(y-f(x))。

最小均方误差（MMSE）：误差平方和取均值再开方，在含噪数据中使预测模型有好的精度（概率最大模型），达到f(x)=y。