原创 感应器&BP2

函数表示在多维空间的不规则曲面，函数E是权值W和输入向量X的函数，由于输入向量已经确定，所以E是W的函数，对E求W的偏导数，可以了解随着W的变化E变化的程度，梯度下降算法的目的就是求在坐标系W(n)中，函数的最小值。

用e表示残差信号,，d表示实际输出，y表示理论输出。

用v表示结点对单个输入的输出则，，f（.）为激活函数。

E对W的表达式为：

算法算子的四个部分分别为，-1，，。

所以。其中称之为局部梯度。激活函数是一种越阶函数。在上一篇文章中，激活函数选择了sgn函数，在这里激活函数选择sigmoid函数，之所以选择sigmoid是因为sigmoid函数有一个重要的特性。

基本步骤是：

1、  对w付初值。

2、  前向计算。

3、  计算，

4、  梯度

5、  计算I+1步权值 =

6、  I=I+1,返回2。

以上是单层单节点的感应器。

在这里也可以对v进行一次性的统一计算，这时。等所有的v都被求出来之后，再开始对w进行修正，这种方法被称为批处理的修正法，它的特点是修正量被平均化，速度快，但不能进行细微的修正。