本站原创文章,转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com
本文介绍SVM的软间隔模型及损失函数的定义和思想,
通过本文了解SVM软间隔模型是什么和相关知识
本节概括性介绍SVM软间隔模型的思想,原理和目的
SVM软间隔模型思想
为什么有软间隔模型
由于硬间隔损失函数的前提是样本一定线性可分,
但现实中往往无法线性可分,
于是,在SVM硬间隔模型的基础上进行改进,
提出了SVM软间隔模型,
软间隔与硬间隔的相同之处
软间隔SVM模型与硬间隔SVM模型一致,
仍然是判别平面+两个支持平面,用(w,b)表示,
其中(w,b)代表判别平面,1/|w|代表支持平面到判别平面的距离
软间隔与硬间隔的不同之处
软间隔SVM模型与硬间隔SVM模型不同的是,
软间隔SVM允许正支持平面的负侧有正样本,也允许负支持平面正侧有负样本,
它的目标在于,尽量让两个支持面的距离更大的同时,样本的错误程度尽量少
本节介绍软间隔模型的表达式和损失函数,以及解说损失函数的意义
SVM软间隔模型
SVM软间隔模型的设计如下
模型数学表达式为
SVM软间隔损失函数如下
优化目标:
约束条件:(1)
(2)
SVM软间隔模型损失函数解释
约束条件的意义
先分析约束条件
将它拆成和 两种场景:
在硬间隔时已经分析过,
代表要求正样本不能在正支持面的负侧
现改为,则是引入了松弛变量 ,
代表允许第i个正样本,可以在正支持面的负侧 位置
同理,对于负样本,也允许在负支持面的正侧 位置
备注: 并不是真实距离,而是以支持距离d为单位的距离,
例如为2时,代表的是偏离2d
目标函数的意义
在以上约束条件的基础上,再在目标函数中,
加入对所有样本总偏离的惩罚项,其中C为惩罚因子,
这样,总的损失函数为 ,
即既让两个支持面尽量最大化的同时,又尽量降低支持面没支持到的样本的偏离总量
下面补充一些SVM软间隔模型的一些额外定义和常识
SVM软间隔模型的支持向量
软间隔模型的支持向量的定义与硬间隔的有所出入
它指的是落在支持面上的样本,及支持面没支持住的样本
实质就是决定支持面的关键样本,在这点上与硬间隔是统一与一致的
因为支持面不仅要考虑最大间隔,还要考虑没支持住的样本
关于合页损失函数
✍️提示:下面内容只当课外阅读
合页损失函数是指分离平面错误分类的总和
在SVM软间隔中,就是两个支持面的错误总和,
也就是两个支持面没支持住的样本偏离总和 (或者)
下面推算合页函数在SVM中的具体数学表达式
字有点小,眼花没关系,反正这内容不重要,不建议细看,笔者也是无聊之际推算一下
可以看到,SVM软间隔损失函数的约束条件中就已经包含了合页损失的约束条件,
也就可以看成是间隔距离损失与合页损失的综合指标
End