原创
BP与RBF的性能比较
2010-3-20 13:10
732
2
2
分类:
工程师职场
神经网络的结构类型很多,大致可以分为前向网络和反馈网络。在软测量中常用多层前向网络,其中最常用的两种是BP神经网络和RBF神经网络,另外还有基于这两种网络的多种改进模型。传统的BP网络算法采用基于误差反向传播的梯度算法,充分利用了多层前向网络的结构优势,在正反向传播过程中每一层的计算都是并行的,算法在理论上比较成熟,且已有许多商用软件可供使用;而RBF网络利用了差值法的研究成果,采用了前馈的结构,二者都是对真实神经网络不同方面的近似,各有其优缺点。
在理论上,RBF网络和BP网络一样能以任意精度逼近任何非线性函数。但由于它们使用的激励函数不同,其逼近性能也不相同。Poggio和Girosi已经证明,RBF网络是连续函数的最佳逼近,而BP网络不是。BP网络使用的Sigmoid函数具有全局特性,它在输入值的很大范围内每个节点都对输出值产生影响,并且激励函数在输入值的很大范围内相互重叠,因而相互影响,因此BP网络训练过程很长。此外,由于BP算法的固有特性,BP网络容易陷入局部极小的问题不可能从根本上避免,并且BP网络隐层节点数目的确定依赖于经验和试凑,很难得到最优网络。采用局部激励函数的RBF网络在很大程度上克服了上述缺点,RBF不仅有良好的泛化能力,而且对于每个输入值,只有很少几个节点具有非零激励值,因此只需很少部分节点及权值改变。学习速度可以比通常的BP算法提高上千倍,容易适应新数据,其隐层节点的数目也在训练过程中确定,并且其收敛性也较BP网络易于保证,因此可以得到最优解。
文章评论(0条评论)
登录后参与讨论