原创 关于径向基函数网络的阐述(一)

众所周知，神经网络在模式分类和识别领域中扮演了重要的角色，大致可分为有监督和非监督两种。有监督学习的神经网络有很多种，就最简单的单层感知器而言，比如说Rosenblatt感知器，这是最古老的一种感知器，也是监督学习的第一个模型。它不仅仅是第一个感知器模型这么简单，更重要的是Rosenblatt感知器证明了当用来训练的两个向量取自线性可分的类时，感知器是收敛的，决策面是两个类之间的超平面，这就是感知器收敛定理。证明过程可以查看神经网络的相关书籍。

卧槽第一段话写的太正经了，有点装逼的节奏。那就废话少说，进入正题。我们知道BP神经网络在多层感知器中有着举足轻重的作用，它扮演这一个学习过程。这种方法运用递归方式，不断地求解梯度向量，在统计学上统称为随机逼近，在大规模模式分类中会有很好的效果。但是这种方法如果调整一个权值，其他权值也需要作出相应的调整，也就是一根筋搭错就全都乱了。这种网络称为全局逼近的网络，所以训练收敛速度慢，而且在样本相似性比较高得情况下会使泛化能力下降，产生过拟合的情况，导致错误率增加。在这里我们提出一种局部近似逼近网络——RBF网络，也就是径向基函数网络。这种网络的精髓就在于，他可以把一个非线性的的模式分类集合映射到高维空间让其更有可能是线性可分的，你没看错这就是COVER定理！就好像你看上了一个妹纸，你觉得她好看，但是她仅仅是好看而已，并不能评价这个人的好与坏。要从多角度的去看，比如从上看，左看，右看，后看，更不要忘了从下看啊！！！说了这么多，我们可以来看看基于插值理论的RBF网络的模型。

基于插值理论的RBF网络模型

首先，基于插值理论的RBF神经网络具体有3层：输入层，隐藏层和输出层。如图1所示。

图1 RBF网络结构

图1的输入层由m个源节点构成，m是输入层的维数；隐藏层由P个径向基函数构成，另外训练样本也有P个与每个径向基函数对应，每个径向基函数的描述如下所示：

        （1.1）

表示第j个输入数据点为径向基函数的中心，是输入信号。值得注意的是输入层与隐藏层之间是直接连接，并没有BP神经网络中的权值；输出层在图1中只有一个计算单元，大多数情况下输出层的神经元数量要比隐藏层小，但是对输出层的神经元数量并没有限制。

对于径向基函数的选择上，我们选择高斯函数作为径向基函数，这样每个隐藏层的径向基函数神经元就可以表示为：

        (1.2)

其中是第j个以为中心的高斯函数的宽度。一般情况下，每个径向基函数的宽度是都是公用的一个值。对于RBF网络具体的原理与性质的讨论，请见下一篇文章。