老饼讲解-神经网络 机器学习 神经网络 深度学习
感知机神经网络

【原理】感知机的原理

作者 : 老饼 发表日期 : 2022-06-21 15:46:00 更新日期 : 2023-10-17 10:04:30
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com


感知机(perceptron)由Rosenblatt在1957提出,用于解决二分类问题

它的输出为-1或1,是神经网络与支持向量机的前身

本文主要参考于 李航-《统计学习方法》




   01. 初识感知机   



本节通过感知机的模型数学表达式及感知机的几何意义

初步认识感知机是什么,用于做什么



  感知机的模型数学表达式  


感知机主要用于做二分类,
它的模型数学表达式为:



其中,





    感知机的几何意义   


在输入为二维的时候,
单层感知机就相当于找出一条直线(在多维的时候,就是平面或超平面),
将平面一分为二,一边为正样本,另一边为负样本 
  






  02. 感知机的损失函数   


本节讲解感知机的训练目标和损失函数,是感知机训练的基础


    感知机的训练目标    


感知机的误差评估函数为误分类的占比

 

其中,,即感知机对第i个样本的预测值
👉PASS:感知机的训练目标就是找出一组w,b,使E最小化




   感知机的损失函数  


感知机的训练可以使用梯度下降法,
但由于误差评估函数,不方便求导,
所以先构造一个与误差评估函数相关的损失函数,
然后用损失函数的梯度来引导w,b的调整

可以用以下函数作为损失函数,来引导w,b的迭代方向
 
 
✍️补充:关于损失函数的意义
损失函数的意义如下:
(1) 当网络对第i个样本预测正确时:
为正,为 1,则 为正
为负, 为-1,则 为正

(2) 当网络对第i个样本预测错误时:
为正,为 -1,则 为负
为负,为1,则 为负
总的来说,
预测正确时,为正,
预测错误时,为负,
即,网络越正确,L(w,b)越小,网络越错误,L(w,b)越大
则我们要令L更小,只要往w和b的负梯度方向调整即可





  03. 感知机的训练   


本节讲解感知机是如何训练的,及其梯度公式的推导


   感知机的训练  


感知机一般用单样本训练,即逐个样本训练w、b
 感知机的训练算法简述如下:
 逐样本训练                                                     
 如果训练样本的预测值与真实值不一致
就往负梯度方向更新w,b                  
退出训练条件:达到最大训练次数或误差已极小
具体的训练细节参考《感知机的训练算法流程》《感知机的代码实现》
 ✍️补充:关于梯度公式 
迭代过程需要用到单样本的损失函数对w,b的梯度,
梯度的公式为
 
  




   关于梯度的推导  


整体样本的梯度推导
损失函数L对 w 和 b 的梯度如下:
(1) w的梯度
 


(2) b的梯度
 

单样本的梯度推导
单样本的推导与整体样本类似,
对于第i个样本,w,b的梯度为:
 









 End 







联系老饼