原创 感知器&BP1

感知器是由美国学者Rosenblatt F于1957年提出的具有单层计算单元的神经网络，它在识别印刷体字符方面表现出了良好的性能。后来在文字识别和语音识别方面都取得了有效的成果，推动了神经元网络的发展。

感知器的表示为多维空间的一个超平面:

                                    （1）

W（n）是权值，x（n）是输入向量。

如果有A、B两类，在多维空间线性可分。作为判别条件，将输入向量x（n）代入（1）：判别式大于零，则输入向量属于A类，小于零，则输入向量属于B类。这个平面需要通过样本的训练获得，

找到这个超平面就是确定所有权值的大小。设有n+1维输入向量x（n）和n+1维权向量w（n）。

训练的基本步骤是：

1、  初始化，设权值w（n）为小的随机数

2、  计算第i步的实际输出

3、  根据公式计算第i+1步的权值。是步长，d是期望输出。

4、  i=i+1，返回2。

直到权值稳定为止。

有很多时候，样本空间并不是线性可分的，设样本空间满足高斯分布。

需要找到样本A,B的最佳分界面。也就是两函数相交的那个地方。这就需要把上边的第三步改一下，用梯度下降算法来修正权值。设为网络表示的能量，则最佳分界面应该处于能量最低点，，为E对W的梯度。