径向基神经网络-算法原理与自实现
径向基一族
精确径向基-原理
作者 : 老饼 日期 : 2022-06-09 04:47:02 更新 : 2022-06-29 01:26:37
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com


精确径向基神经网络是由Powell在1985年提出的一种使用径向基函数(RBF)进行多变量插值的方法,可以逼近任意曲线。

本文讲解精确径向基的思想与原理,在阅读本文前,请阅读《径向基一族的基本思想》



一、径向基思想回顾


径向基的思想就是用多个径向基钟形曲线去逼近数据点。





它在数学的表达上有如下形式:







二、精确径向基网络思想


精确径向基对W,B的求解思路


现在问题来了,(1)式中的w和b怎么求?
事实上很简单,由于精确径向基在每一个数据点上都生成一个钟形函数,
当输入 x 知道时,式中形如 的部分都可以计算成一个常数c,(1) 式就成了一个线性方程组.
假设现在有3个样本,那么3个样本就能得到3个线性方程,从而组成方程组:
   
 

备注:上标(i)代表是第i个样本的值。
只要解这个方程组就可以得到w和b的值了。
由于未知数个数大于方程的个数,肯定能求得一组w,b满足上式,即精确解。

因此网络在训练数据上的预测误差会为0,所以称这种网络为精确径向基,是非常形象的。




三、精确径向基网络求解步骤


    模型表达式回顾    


精确径向基有多少个样本就生成多少个隐节点,
以2输入3个隐节点为例,精确径向基的数学表达形式如下:




     W21和 b3的求解    



●   的生成:为第i个样本的值。                           
●   的生成:所有的   都一样,由  生成,
(其中,spread是预设参数,它控制着径向基的肥瘦)


     W32和 b3的求解    



由 和  算得所有训练样本隐节点的激活值(即径向基exp部分的值)A,
从而构成线性方向组,求解方程组,即可得到和 





四、精确径向基优缺点


精确径向基是最简单的径向基神经网络,它非常好理解,同时,它也有非常明显的优缺点。


  优 点  


有精确解,能完全拟合原始数据。


  缺 点  


有多少个样本,就有多少个径向基,实际使用时的运算非常复杂。

PASS:正是由于精确径向基使用了过多的径向基,因此,就有了径向基神经网络,对它进一步优化。







 End 






联系老饼