BP神经网络基础理论
BP模型训练
【推导】BP神经网络的梯度公式推导(三层结构)
作者 : 老饼 日期 : 2022-06-09 05:05:56 更新 : 2022-11-01 03:27:20
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com


BP神经网络的训练算法基本都涉及到梯度公式,

本文提供三层BP神经网络的梯度公式和推导过程



   01. 推导目标   


BP神经网络的梯度推导是个复杂活,

在推导之前 ,本节先把推导目标清晰化


    梯度公式目标    


训练算法很多,但各种训练算法一般都需要用到各个待求参数(w,b)在损失函数中的梯度,
因此求出w,b在损失函数中的梯度就成为了BP神经网络必不可少的一环,
求梯度公式,即求以下误差函数E对各个w,b的偏导:
 
 代表网络对第m个样本第k个输出的预测值,w,b就隐含在 中


    本文梯度公式目标   


虽然梯度只是简单地求E对w,b的偏导,但E中包含网络的表达式f(x),就变得非常庞大,
求偏导就成了极度艰巨晦涩的苦力活,对多层结构通式的梯度推导稍为抽象,
本文不妨以最常用的三层结构作为具体例子入手,求出三层结构的梯度公式
 即:输入层-隐层-输出层 (隐层传递函数为tansig,输出层传递函数为purelin)


虽然只是三层的BP神经网络,

但梯度公式的推导,仍然不仅是一个体力活,还是一个细致活,

且让我们细细一步一步慢慢来


   02. 网络表达式梳理    


在损失函数E中包括了网络表达式,在求梯度之前,

先将表达式的梳理清晰,有助于后面的推导


   梳理三层BP神经网络的网络表达式   


网络表达式的参考形式
隐层传递函数为tansig,输出层传递函数为purelin的三层BP神经网络,
有形如下式的数学表达式

 
网络表达式的通用矩阵形式
 写成通用的矩阵形式为

 


这里的
为矩阵,为向量,
上标
分别代表输出层(out)和隐层(hide),
例如,2输入,4隐节点,2输出的BP神经网络可以图解如下:

 




   03. 三层BP神经网络梯度推导过程  


本节我们具体推导误差函数对每一个待求参数w,b的梯度


    简化推导目标    


由于E的表达式较为复杂,
 不妨先将问题转化为"求单样本梯度"来简化推导表达式
 对于任何一个需要求偏导的待求参数w,都有:
 
即损失函数的梯度,等于单个样本的损失函数的梯度之和(E对b的梯度也如此),
因此,我们先推导单个样本的梯度,最后再对单样本梯度求和即可。
现在问题简化为求




   输出层权重的梯度推导   


输出层权重梯度推导
输出层的权重为"输出个数*隐节点个数"的矩阵,
现推导任意一个权重wji (即连接第i个隐层与第j个输出的权重)的单样本梯度
如下:

 
事实上,只有第j个输出是关于 的函数,也即对于其它输出 
因此, 
上式即等于
继续求导


 是第j个输出的误差,简记为                         
是第j个隐节点的激活值,简记为(A即Active)

上式即可写为
                       
上述是单样本的梯度,
整体样本的梯度则应记为 

  

 为样本个数、输出个数                                         
是第m个样本第j个输出的误差      
是第m个样本第i个隐节点的激活值    



   输出层阈值的梯度推导   


输出层阈值梯度推导
对于阈值 (第j个输出节点的阈值)的推导与权重梯度的推导是类似的,
只是上述标蓝部分应改为

 
简记为
 
上述是单样本的梯度,
整体样本的梯度则应记为 
 
 为样本个数、输出个数                
是第m个样本第j个输出的误差      


    隐层权重的梯度推导   


隐层的权重为"隐节点个数*输入个数"的矩阵,
现推导任意一个权重
 (即连接第i个输入与第j个隐节点的权重)的单样本梯度
如下:
 


只有第j个tansig是关于 的函数,所以上式可以写成

 
继续求导
 
又由
所以上式为:

简写为
上述是单样本的梯度,对整体样本则有:
 
 为样本个数、输出个数                                              
是第m个样本第k个输出的误差        
是第m个样本第i个隐节点的激活值           
是第m个样本第i个输入                                                  



    隐层阈值的梯度推导   


隐层阈值梯度推导
对于阈值 (第j个隐节点的阈值)的推导与隐层权重梯度的推导是类似的,
只是蓝色部分应改为

又由
所以上式为:

简写为
上述是单样本的梯度,对整体样本则有:
 
 为样本个数、输出个数                                              
是第m个样本第k个输出的误差        
是第m个样本第i个隐节点的激活值         

   

   04. 推导结果总结  



    三层BP神经网络梯度公式    


输出层梯度公式
输出层权重梯度:                                         
输出层阈值梯度:                                               
隐层梯度公式
隐层权重梯度:     
隐层阈值梯度:             
✍️符号说明
 为样本个数、输出个数                                               
是第m个样本第k个输出的误差        
是第m个样本第i个隐节点的激活值           
是第m个样本第i个输入                                                  





 End 






联系老饼