原创 最小二乘法

下面是一道有趣的智力思考题。

给你一本书，你能否仅用普通的刻度尺，测出一张纸的厚度吗？答案是肯定的！我想聪明的读者都已猜到了：只需量出全书的厚度（如果书很薄，可以把相同的书叠它几本！），然后除以全书纸的张数，即得每张纸的厚度。

上述方法可以用于类似的场合。例如，为了测出细漆包线的直径大小，可以采用绕线的办法，在一根铅笔上，紧密地绕上n圈，如图测量出这n圈漆包线在铅笔上所占位置的长L，则该漆包线的直径d，显然应该满足

然而，尽管很多人都懂得应该这样去做，但并非所有的人都知道其中的科学原理。假设某本书共  1128页（除封页），测得厚60mm ，各页的厚度（单位mm）为：

a₁，a₂，a₃，……，a₁₁₂₈

可得到：

而一张纸的厚度 0. 0532（mm），则是这  1128个数的平均值。

现在需要证明的是：对于量x的n个观测值a₁，a₂，……，a_n，它们的平均值

是所要测定的量X的最理想取值。式中求和符号表示从1累加到n。

事实上，最理想的取值X，应当使它与n个观察值的差的总和为最小。但考虑到差（x-a₁）（i＝ 1，2，…，n）可能有正有负，如果直接地把它们相加，势必使某些差的值相抵消，影响了偏离的真实性，这显然是不合理的。于是，人们想到了用（x-a_i）²来替代相应的差。这样一来，最理想的取值X应当使函数

y=(x-a_i)²+(x-a₂)²+ ……+(x-a_n)²

=nx²-x(Σa_i)x+Σa_i²

取极小值。这是关于X的二次函数，易知当

时y取极小。这就是为什么平均值可以看成是观测量最理想取值的道理。

同样的原理可以用于二维的情形，只是计算要稍为复杂一些，我们将要得到的结果，在数学上非常有名，叫做最小二乘法。它是德国数学家高斯，于公元1795年创立的，那时他年仅18岁！

现在假定我们观察到n个经验点：

(x₁，y₁)，(x₂，y₂)，…，(x_n，y_n)

如果我们认定这n个经验点M_i（i＝1，2，…， n）是对直线 y＝ A_x＋B上的点在观测时的误差。那么，这些经验点M_i(x_i，y_i)与直线上相应点N（x_i，A_i+B）之间的以下量

应当取极小值。“最小二乘法”的名称，大约就是由此而来！

函数y显然可以写成A的二次函数

时取极小值。整理得：

(Σx_i²)A+(Σx_i)B=Σx_iy_i

同理，函数y又可以写成B的二次函数，而当这一函数取极小值时，又得：

(Σx_i)A+(Σx_i)B=Σx_iy_i

这样，由方程组

便可以确定参数A、B的值。从而得到一条最逼近n个经验点M_i(I=1，2，…n)的直线

最小二乘法在科学上有许多妙用，这里暂不介绍。