原创 高斯核函数的两点性质

       成功高斯核函数 K(x,y)=exp(-||x-y||2/2σ2) 在选择核函数时，若对给出的数据没有先验知识，RBF核就是最好的选择。为了研究为什么使用了核技巧的学习机器往往具有良好的推广能力，文献[1]建立了核函数K与正则化算子P之间的关系来考察部分核函数的推广能力，并说明了采用RBF核的支持向量机可以获得非常平滑的估计，这就解释了为什么SVM采用RBF核时往往具有良好的性能。RBF核的另一个优点是其核值的范围为（0,1）, 这会使计算过程变得简单。 RBF核的性能优劣直接受尺度参数σ大小的影响，文献[2]给出了参数σ的极限性质。 性质 1 若RBF核中尺度参数σ趋于0，则拉格朗日乘子向量的所有分量都大于0，即全部样本点都是支持向量。 性质1 说明，对于任意给定的训练集，只要σ>0且充分小，RBF核SVM必定可对所有训练样本正确分类，这很容易造成‘过学习’的情况。 性质 2 当σ趋于无穷时，SVM的判别函数为一常函数，其推广能力或对新样本的正确分类能力为零，即把所有样本点判为同一类。 实际上，当σ比训练样本点之间的距离小得多时，就能达到σ趋于0的效果，当σ比训练样本点之间的距离大得多的时候，就产生σ趋于无穷的效果。 [1] Smola AJ. Learning with kernels. Technical university of berlin, 1998 [2] 褚蕾蕾，陈绥旭，周梦. 计算智能的数学基础. 北京：科学出版社，2002 摘自 西南交通大学 罗瑜 博士论文