最小二乘估计 – 12Reads管理百科

什么是最小二乘估计

最小二乘估计是高斯在1975年提出的参数估计法，其特点是算法简单，不必知道被估计量及量测量有关的统计信息。

设第i次量测Zi为

Zi = HiX + Vi

式中：Zi为mi维向量；Hi、Vi为第i次量测的量测矩阵和随机量测噪声。

描述r次量测的量测方程为

Z = HX + V

式中：Z、V为 $m_1+m_2+\ldots+m_i=m$ 维向量，H为m×n矩阵。

最小二乘估计指标是，使各次量测Zi与由估计 $\widehat{X}$ 确定的量测的估计 $\widehat{Z}_iH_i\widehat{X}$ 均方和最小，即

$J\widehat{X}=(Z-H\widehat{X})^T(Z-H\widehat{X})=min$

X的最小二乘估计为

$\widehat{X}=(H^TH)^{-1}H^TZ$

最小二乘估计的性质是，若量测噪声V是均值为零，方差为R的随机向量，则

（1）最小二乘估计是无偏估计，即

$E=X$

或

$E=0$

式中： $\widehat{X}=X-\widehat{X}$ 为 $\widehat{X}$ 的估计误差。

（2）最小二乘估计的均方误差阵为

$E=(H^TH)^{-1}H^TRH(H^TH)^{-1}$