【软间隔】SVM软间隔模型与损失函数

本站原创文章，转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com

本文介绍SVM的软间隔模型及损失函数的定义和思想，

通过本文了解SVM软间隔模型是什么和相关知识

    01. SVM的软间隔模型介绍   

本节概括性介绍SVM软间隔模型的思想，原理和目的

   SVM软间隔模型思想   

为什么有软间隔模型
由于硬间隔损失函数的前提是样本一定线性可分，
但现实中往往无法线性可分，
于是，在SVM硬间隔模型的基础上进行改进，
提出了SVM软间隔模型，

软间隔与硬间隔的相同之处
软间隔SVM模型与硬间隔SVM模型一致，
仍然是判别平面+两个支持平面，用(w,b)表示，
其中(w,b)代表判别平面，1/|w|代表支持平面到判别平面的距离  

软间隔与硬间隔的不同之处
软间隔SVM模型与硬间隔SVM模型不同的是，
软间隔SVM允许正支持平面的负侧有正样本，也允许负支持平面正侧有负样本，
它的目标在于，尽量让两个支持面的距离更大的同时，样本的错误程度尽量少
 

    02. SVM的软间隔模型   

本节介绍软间隔模型的表达式和损失函数，以及解说损失函数的意义

   SVM软间隔模型   

SVM软间隔模型的设计如下
模型数学表达式为
 

SVM软间隔损失函数如下
  优化目标：        
 约束条件：(1) 
     (2)                

   SVM软间隔模型损失函数解释   

约束条件的意义
先分析约束条件
将它拆成和 两种场景：
 

在硬间隔时已经分析过，
 代表要求正样本不能在正支持面的负侧
现改为，则是引入了松弛变量 ，
代表允许第i个正样本，可以在正支持面的负侧 位置
同理，对于负样本，也允许在负支持面的正侧 位置
 
 备注： 并不是真实距离，而是以支持距离d为单位的距离，
例如为2时，代表的是偏离2d

目标函数的意义
在以上约束条件的基础上，再在目标函数中，
加入对所有样本总偏离的惩罚项，其中C为惩罚因子，
这样，总的损失函数为        ，
即既让两个支持面尽量最大化的同时，又尽量降低支持面没支持到的样本的偏离总量

    03. 一些相关定义补充   

下面补充一些SVM软间隔模型的一些额外定义和常识

    SVM软间隔模型的支持向量   

软间隔模型的支持向量的定义与硬间隔的有所出入
它指的是落在支持面上的样本，及支持面没支持住的样本
 
 实质就是决定支持面的关键样本，在这点上与硬间隔是统一与一致的
因为支持面不仅要考虑最大间隔，还要考虑没支持住的样本

    关于合页损失函数   

✍️提示：下面内容只当课外阅读

合页损失函数是指分离平面错误分类的总和
在SVM软间隔中，就是两个支持面的错误总和，
   
 也就是两个支持面没支持住的样本偏离总和  (或者)

下面推算合页函数在SVM中的具体数学表达式

 字有点小，眼花没关系，反正这内容不重要，不建议细看，笔者也是无聊之际推算一下

可以看到，SVM软间隔损失函数的约束条件中就已经包含了合页损失的约束条件，
 也就可以看成是间隔距离损失与合页损失的综合指标

 End