如何通过对偶问题求解线性可分 SVM

如何通过对偶问题求解线性可分 SVM
不会停的蜗牛

2018.12.07 阅读 10 评论 0 喜欢 0

我们最终是想要求出最大间隔超平面

所以需要计算出约束条件下的 w和b 这两个参数,进而得到最大间隔超平面的表达式


求解方法是将原问题转化为其对偶问题进行求解,

这个过程分为四步,

1. 首先原问题需要满足强对偶性的三个条件

2. 将原问题转化为拉格朗日函数

3. 求拉格朗日函数的下确界函数

4. 求这个下确界函数的极大值,即要对偶问题的最优解


对于线性可分 SVM 来说,根据上面的四个步骤进行求解:

1. 首先它是符合强对偶的三个条件的,

2. 然后求出它的拉格朗日函数

3. 再求下确界函数,方法是对W和b求偏导,令其等于零

4. 接着需要对下确界函数求极大值,需要将极大值问题转化为极小值问题,用 SMO算法求出参数向量 alpha


5. 又因为 alpha 对应的(x,y)必然是支持向量,所以得出 b 的表达式

6. 至此 w 和 b 表达式都得到了,进而得到了最大分割超平面的表达式

7. 接着也就构造出了决策函数



求解方法是将原问题转化为其对偶问题进行求解,这个过程分为四步:

1. 首先原问题需要满足强对偶性的三个条件

2. 将原问题转化为拉格朗日函数

3. 求拉格朗日函数的下确界函数

4. 求这个下确界函数的极大值,即要对偶问题的最优解



对于线性可分 SVM 来说,根据上面的四个步骤进行求解:

1. 首先它是符合强对偶的三个条件的,

2. 然后求出它的拉格朗日函数

3. 再求下确界函数,方法是对W和b求偏导,令其等于零

4. 接着需要对下确界函数求极大值,需要将极大值问题转化为极小值问题,用 SMO算法求出参数向量 alpha



5. 又因为 alpha 对应的(x,y)必然是支持向量,所以得出 b 的表达式

6. 至此 w 和 b 表达式都得到了,进而得到了最大分割超平面的表达式

7. 接着也就构造出了决策函数


SMO算法:

生活 转载请联系作者,并注明出处。

如果觉得我的文章对您有用,请随意赞赏。您的支持将鼓励我继续创作!

春光支付宝

支付宝

春光微信

微信


喜欢  |  0

0条评论