详解支持向量机-支持向量机-硬间隔与软间隔：重要参数C【菜菜的sklearn课堂笔记】-六虎

开启成长之旅！这是我参与「日新方案 12 月更文应战」的第20天，点击查看活动详情

视频作者：菜菜TsaiTsai 链接：【技术干货】菜菜的机器学习sklearn【全85集】Python进阶_哔哩哔哩_bilibili

咱们之前在理论推导中运用的数据都有一个特色，那便是他们或是彻底线性可分，或许对错线性的数据。在咱们比照核函数时，实际上用到了一种不同的数据，那便是不彻底线性可分的数据集。比如说如下数据集：

详解支持向量机-支持向量机-硬间隔与软间隔：重要参数C【菜菜的sklearn课堂笔记】

这个数据集和咱们最开端介绍SVM怎么作业的时分的数据集如出一辙，除了多了P和Q两个点。咱们留意到，尽管决议计划鸿沟 $B_{1}$ 的距离已经非常宽了，可是点P和Q依然被分错了类别，相反，边沿比较小的 $B_{2}$ 却正确地分出了点P和Q的类别。这儿并不是说 $B_{2}$ 此刻此刻便是一条更好的鸿沟了，与之前的论说中一致，假如咱们引进更多的练习数据，或引进测验数据， $B_{1}$ 愈加宽敞的鸿沟能够帮助它又更好的表现。可是，和之前不一样，现在即便是让边沿最大的决议计划鸿沟 $B_{1}$ 的练习差错也不或许为0了。此刻，咱们就需求引进“软距离”的概念： 关键概念：硬距离与软距离：当两组数据是彻底线性可分，咱们能够找出一个决议计划鸿沟使得练习集上的分类差错为0，这两种数据就被称为是存在”硬距离“的。当两组数据几乎是彻底线性可分的，但决议计划鸿沟在练习集上存在较小的练习差错，这两种数据就被称为是存在”软距离“。 咱们能够经过调整咱们对决议计划鸿沟的界说，将硬距离时得出的数学结论推广到软距离的状况上，让决议计划鸿沟能够忍受一小部分练习差错。这个时分，咱们的决议计划鸿沟就不是单纯地寻求最大边沿了，由于关于软距离地数据来说，边沿越大被分错的样本也就会越多，因而咱们需求找出一个”最大边沿“与”被分错的样本数量“之间的平衡。

看上图，原始的决议计划鸿沟 $⋅x+b=0\omega \cdot x+b=0$ ，本来的平行于决议计划鸿沟的两个虚线超平面 $⋅x+b=1\omega \cdot x +b=1$ 和 $⋅x+b=−1\omega \cdot x+b=-1$ 都依然有效，咱们原始的判别函数为

{⋅xi+b≥1ifyi=1⋅xi+b≤−1ifyi=−1\left\{\begin{aligned}&\omega \cdot x_{i}+b \geq 1\quad if \quad y_{i}=1\\ &\omega \cdot x_{i}+b \leq -1 \quad if \quad y_{i}=-1\end{aligned}\right.

不过，这些超平面现在无法让数据上的练习差错等于0了，由于此刻存在了一个稠浊在赤色点中的紫色点 $x_{p}$ 。于是，咱们需求放松咱们原始判别函数中的不等条件，来让决议计划鸿沟能够适用于咱们的异常点，于是咱们引进松懈系数 $\zeta$ 来帮助咱们优化原始的判别函数：

{⋅xi+b≥1−iifyi=1⋅xi+b≤−1+iifyi=−1\left\{\begin{aligned}&\omega \cdot x_{i}+b \geq 1-\zeta_{i}\quad if \quad y_{i}=1\\ &\omega \cdot x_{i}+b \leq -1+\zeta_{i} \quad if \quad y_{i}=-1\end{aligned}\right.

其间 $i>0\zeta_{i}>0$ 能够看得出，这其实是将本来的虚线超平面向图画的上方和下方平移，其符号的处理方式和咱们本来讲解过的把符号放入 $\omega$ 是如出一辙的方式。

这儿咱们使 $>0\zeta>0$ 便是超平面上移， $<0\zeta<0$ 便是超平面下移

松懈系数其实很好了解，来看上面的图画。坐落赤色点附近的紫色点 $x_{p}$ 在本来的判别函数中必定会被分为赤色，所以必定会被判别错。现在咱们作一条与决议计划鸿沟平行，可是过点 $x_{p}$ 的直线 $⋅xi=1−i\omega \cdot x_{i}=1-\zeta_{i}$ （图中的蓝色虚线）。这条直线是由 $⋅xi+b=1\omega \cdot x_{i}+b=1$ 平移得到，所以两条直线在纵坐标上的差异便是 $\zeta$ （竖直的黑色箭头）。而点 $x_{p}$ 到 $⋅xi+b=1\omega \cdot x_{i}+b=1$ 的距离就能够表明为 $⋅∣∣∣∣\begin{aligned} \frac{\zeta \cdot \omega}{||\omega||}\end{aligned}$ ，即 $\zeta$ 在 $\omega$ 方向上的投影。由于单位向量是固定的，所以 $\zeta$ 能够作为点 $x_{p}$ 在原始的决议计划鸿沟上的分类过错的程度的表明，隔得越远，分得越错。但留意， $\zeta$ 并不是点到决议计划超平面的距离本身。

在软距离的条件下，咱们仍然是有支撑向量的，仅仅此刻 $⋅xi+b≠1\omega \cdot x_{i}+b \ne \pm 1$

不难留意到，假如咱们让 $⋅xi+b≥1−i\omega \cdot x_{i}+b \geq 1-\zeta_{i}$ 作为咱们的新决议计划超平面，是有必定的问题的，尽管咱们把异常的紫色点分类正确了，但咱们一起也分错了一系列赤色的点。所以咱们必须在咱们求解最大边沿的丢失函数中加上一个赏罚项，用来赏罚咱们具有巨大松懈系数的决议计划超平面。现在，咱们的丢失函数为：

,N\left\{\begin{aligned}&\mathop{\text{min }}\limits_{\omega,b,\zeta} \frac{||\omega||^{2}}{2}+C \sum\limits_{i=1}^{N}\zeta_{i}\\&y_{i}(\omega \cdot \Phi (x_{i})+b) \geq 1-\zeta_{i},i=1,2,\cdots,N\\&\zeta_{i}\geq 0,i=1,2,\cdots,N\end{aligned}\right.

其间C是用来操控赏罚项的赏罚力度的系数。拉格朗日函数也被松懈系数改动

L(,b,,)=12∣∣∣∣2+C∑i=1Ni−∑i=1Ni(yi(⋅(xi)+b)−1+i)−∑i=1NiiL(\omega,b,\alpha,\zeta)=\frac{1}{2}||\omega||^{2}+C \sum\limits_{i=1}^{N} \zeta_{i}-\sum\limits_{i=1}^{N}\alpha_{i}(y_{i}(\omega \cdot \Phi (x_{i})+b)-1+\zeta_{i})-\sum\limits_{i=1}^{N}\mu_{i}\zeta_{i}

需求满意的KKT条件为

{∂L∂=∂L∂b=∂L∂=0i≥0,i≥0,i≥0i(yi(⋅(xi)+b)−1+i)=0ii=0\begin{aligned} \left\{\begin{aligned}&\frac{\partial L}{\partial \omega}=\frac{\partial L}{\partial b}=\frac{\partial L}{\partial \delta}=0\\ &\zeta_{i}\geq 0,\alpha_{i}\geq 0,\mu_{i}\geq 0\\ &\alpha_{i}(y_{i}(\omega \cdot \Phi (x_{i})+b)-1+\zeta_{i})=0\\ &\mu_{i}\zeta_{i}=0\end{aligned}\right. \end{aligned}

拉格朗日对偶函数也被松懈系数改动

{LD=∑i=1Ni−12∑i=1N∑j=1Nijyiyj(xi)(xj)C≥i≥0\left\{\begin{aligned}&L_{D}=\sum\limits_{i=1}^{N}\alpha_{i}- \frac{1}{2}\sum\limits_{i=1}^{N}\sum\limits_{j=1}^{N}\alpha_{i}\alpha_{j}y_{i}y_{j}\Phi (x_{i})\Phi (x_{j})\\ &C \geq \alpha_{i}\geq 0\end{aligned}\right.

这种状况下的拉格朗日对偶函数看起来和线性可分状况下的对偶函数如出一辙，可是需求留意的是，在这个函数中，拉格朗日乘数 $\alpha$ 的取值的限制改动了。在硬距离的状况下，拉格朗日乘数值需求大于等于0，而现在它被要求不能够大于用来操控赏罚项的赏罚力度的系数C。有了对偶函数之后，咱们的求解过程和硬距离下的步骤一致。以上一切的公式，是以线性硬距离数据为根底，考虑了软距离存在的状况和数据对错线性的状况而得来的。而这些公式，便是sklearn类SVC背面运用的终究公式。公式中现在唯一的新变量，松懈系数的赏罚力度C，由咱们的参数C来进行操控。

线性支撑向量机学习除了原始最优化问题，还有别的一种解释，便是最优化以下方针函数：
$∑i=1N[1−yi(⋅xi+b)]++∣∣∣∣2\sum\limits_{i=1}^{N}[1-y_{i}(\omega \cdot x_{i}+b)]_{+}+\lambda||\omega||^{2}$
方针函数的第一项是经验丢失或经验危险，函数
$\cdot (\omega \cdot x +b))=[1-y(\omega \cdot x +b)]_{+}$
称为合页丢失函数（hinge loss function）。下标”+”表明以下取正值的函数：
$[z]+={z,z>00,z≤0[z]_{+}=\left\{\begin{aligned}&z,z>0\\&0,z \leq 0\end{aligned}\right.$
这便是说，当样本点 $x_{i},y_{i})$ 被正确分类且函数距离（确信度） $yi(⋅xi+b)y_{i}(\omega \cdot x_{i}+b)$ 大于1时，丢失是0，不然丢失是 $1−yi(⋅xi+b)1-y_{i}(\omega \cdot x_{i}+b)$ 。方针函数的第二项是系数为 $\lambda$ 的 $\omega$ 的L2范数，是正则化项。

明显这个函数是在SVM为软距离的时分才有意义，只有在软距离的时分才会呈现 $[1−y(⋅x+b)]+>0[1-y(\omega \cdot x +b)]_{+}>0$ 。由于当一个样本点恰好是支撑向量时，该函数值为0；当一个样本被正确分类，且在决议计划鸿沟的外侧（离别离超平面比离对应决议计划鸿沟远），明显该函数的自变量为负值，因而为0；只有一个样本点被过错分类，或许被正确分类可是在对应决议计划鸿沟和别离超平面之间的时分，该函数取值为正

接下来证明线性支撑向量机原始最优化问题：
$,N\left\{\begin{aligned}&\mathop{\text{min }}\limits_{\omega,b,\zeta} \frac{||\omega||^{2}}{2}+C \sum\limits_{i=1}^{N}\zeta_{i}\\&y_{i}(\omega \cdot \Phi (x_{i})+b) \geq 1-\zeta_{i},i=1,2,\cdots,N\\&\zeta_{i}\geq 0,i=1,2,\cdots,N\end{aligned}\right.$
等价于最优化问题
$∑i=1N[1−yi(⋅xi+b)]++∣∣∣∣2\sum\limits_{i=1}^{N}[1-y_{i}(\omega \cdot x_{i}+b)]_{+}+\lambda||\omega||^{2}$
先令 $∑i=1N[1−yi(⋅xi+b)]+=i\sum\limits_{i=1}^{N}[1-y_{i}(\omega \cdot x_{i}+b)]_{+}=\zeta_{i}$ ，则第二个约束条件建立由 $∑i=1N[1−yi(⋅xi+b)]+=i\sum\limits_{i=1}^{N}[1-y_{i}(\omega \cdot x_{i}+b)]_{+}=\zeta_{i}$ ，当 $1−yi(⋅xi+b)>01-y_{i}(\omega \cdot x_{i}+b)>0$ 时，有 $yi(⋅xi+b)=1−iy_{i}(\omega \cdot x_{i}+b)=1-\zeta_{i}$ ；当 $1−yi(⋅xi+b)≤01-y_{i}(\omega \cdot x_{i}+b)\leq 0$ ， $i=0\zeta_{i}=0$ ，有 $yi(⋅xi+b)≥1−iy_{i}(\omega \cdot x_{i}+b)\geq 1-\zeta_{i}$ ，所以第一个约束条件建立。

$1−yi(⋅xi+b)>01-y_{i}(\omega \cdot x_{i}+b)>0$ 对应被正确分类的样本且在对应决议计划鸿沟外侧 $1−yi(⋅xi+b)≤01-y_{i}(\omega \cdot x_{i}+b)\leq 0$ 对应被误分类的样本和被正确分类但在对应决议计划鸿沟和别离超平面之间的点

所以两个约束条件都满意，最优化问题能够写作
$min,b∑i=1Ni+∣∣∣∣2\mathop{\text{min }}\limits_{\omega,b}\sum\limits_{i=1}^{N}\zeta_{i}+\lambda||\omega||^{2}$
若取 $=12C\lambda=\frac{1}{2C}$
$min,b1C(12∣∣∣∣2+C∑i=1Ni)\mathop{\text{min }}\limits_{\omega,b} \frac{1}{C}\left(\frac{1}{2}||\omega||^{2}+C \sum\limits_{i=1}^{N}\zeta_{i}\right)$
与原始最优化问题等价。

链接：SVM 合页丢失函数 – 知乎 (zhihu.com)

重要参数C

参数C用于权衡”练习样本的正确分类“与”决议计划函数的边沿最大化“两个不可一起完成的方针，期望找出一个平衡点来让模型的效果最佳。参数C：浮点数，默认1，必须大于等于0，可不填。松懈系数的赏罚项系数。假如C值设定比较大，那SVC或许会选择边沿较小的，能够更好地分类一切练习点的决议计划鸿沟，不过模型的练习时间也会更长。假如C的设定值较小，那SVC会尽量最大化鸿沟，决议计划功能会更简单，但代价是练习的准确度。

咱们不能说满意 $⋅xi+b≥1−i\omega \cdot x_{i} +b \geq 1- \zeta_{i}$ ，就有 $y_{i}=1$ ，由于此刻是软距离，或许呈现两个虚线超平面分割出共用的空间就像是上图的状况， $⋅xi+b=1−i\omega \cdot x_{i}+b=1-\zeta_{i}$ 和 $⋅xi+b=−1\omega \cdot x_{i}+b=-1$ ，假如咱们选择这两条作为决议计划鸿沟，就会有许多赤色的点或许被分类过错，练习集上的差错就会很大，也就对应着咱们C很小的状况多说一句，个人了解，由于C很小的时分，即 $min,b,∣∣∣∣22+C∑i=1Ni\begin{aligned} \mathop{\text{min }}\limits_{\omega,b,\zeta} \frac{||\omega||^{2}}{2}+C \sum\limits_{i=1}^{N}\zeta_{i}\end{aligned}$ 的后一项 $C∑i=1Ni\begin{aligned} C \sum\limits_{i=1}^{N}\zeta_{i}\end{aligned}$ 中的C很小，那么较大的 $\zeta$ 也不会对整个决议计划函数有很大的影响，因而超平面答应上下移动的范围会很大

在实际运用中，C和核函数的相关参数（gamma，degree等等）们搭配，往往是SVM调参的重点。与gamma不同，C没有在对偶函数中呈现，而且是清晰了调参方针的，所以咱们能够清晰咱们究竟是否需求练习集上的高精确度来调整C的方向。默认状况下C为1，通常来说这都是一个合理的参数。** 假如咱们的数据很喧闹，那咱们往往减小C**。咱们也能够运用网格查找或许学习曲线来调整C的值。这儿咱们尝试学习曲线的方式

score = []
C_range = np.linspace(0.01,30,50) # C不能为负数
for i in C_range:
    clf = SVC(kernel="linear",C=i,cache_size=5000).fit(Xtrain,Ytrain)
    score.append(clf.score(Xtest,Ytest))
print(max(score),C_range[score.index(max(score))])
plt.plot(C_range,score)
plt.show()
---
0.9766081871345029 1.2340816326530613

进一步减小区间

score = []
C_range = np.linspace(0.01,5,50)
for i in C_range:
    clf = SVC(kernel="linear",C=i,cache_size=5000).fit(Xtrain,Ytrain)
    score.append(clf.score(Xtest,Ytest))
print(max(score),C_range[score.index(max(score))])
plt.plot(C_range,score)
plt.show()
---
0.9766081871345029 0.2136734693877551

关于rbf同理

score = []
C_range = np.linspace(0.01,30,50)
for i in C_range:
    clf = SVC(kernel="rbf",C=i
              ,gamma=0.012067926406393264
              ,cache_size=5000).fit(Xtrain,Ytrain)
    score.append(clf.score(Xtest,Ytest))
print(max(score),C_range[score.index(max(score))])
plt.plot(C_range,score)
plt.show()
---
0.9824561403508771 6.7424489795918365

细化

score = []
C_range = np.linspace(5,7,50) # C不能为负数
for i in C_range:
    clf = SVC(kernel="rbf",C=i
              ,gamma=0.012067926406393264
              ,cache_size=5000).fit(Xtrain,Ytrain)
    score.append(clf.score(Xtest,Ytest))
print(max(score),C_range[score.index(max(score))])
plt.plot(C_range,score)
plt.show()
---
0.9824561403508771 6.224489795918367

此刻，咱们找到了乳腺癌数据集上的最优解：rbf核函数下的98.24%的准确率。当然，咱们还能够运用交叉验证来改进咱们的模型，获得不同测验集和练习集上的交叉验证成果。

其实咱们仅仅找到了在一个测验集和练习集上的最好表现的C，因而交叉验证是十分必要的

软距离的支撑向量

软距离条件下（指定C的条件下），一切或许影响咱们的超平面的样本或许都会被界说为支撑向量，所以支撑向量就不再是一切压在虚线超平面上的点，而是一切或许影响咱们的超平面的位置的那些稠浊在互相的类别中的点了（也便是被过错分类的点）。

这个代码类似地之前写过，在支撑向量的鸿沟色彩有改而已

import numpy as np
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
from sklearn.datasets import make_circles,make_moons,make_blobs,make_classification
from sklearn.svm import SVC
n_samples = 100
datasets = [
    make_moons(n_samples=n_samples,noise=0.2,random_state=0)
    ,make_circles(n_samples=n_samples,noise=0.2,factor=0.5,random_state=1)
    ,make_blobs(n_samples=n_samples,centers=2,random_state=5)
    ,make_classification(n_samples=n_samples,n_features=2,n_informative=2,n_redundant=0,random_state=5)
]
Kernel = ["linear"]
nrows = len(datasets)
ncols = len(Kernel) + 1
fig, axes = plt.subplots(nrows,ncols,figsize=(10,16))
for ds_cnt, (X, Y) in enumerate(datasets):
    ax = axes[ds_cnt, 0]
    if ds_cnt == 0:
        ax.set_title("Input data")
    ax.scatter(X[:,0],X[:,1],c=Y
               ,zorder=10,cmap=plt.cm.Paired,edgecolors="k"
              )
    ax.set_xticks([])
    ax.set_yticks([])
    for est_idx, kernel in enumerate(Kernel):
        ax = axes[ds_cnt, est_idx + 1]
        clf = SVC(kernel=kernel, gamma=2, C=1).fit(X,Y)
        # 不断增大C，决议计划鸿沟或许会旋转，虚线超平面会向决议计划鸿沟挨近
        score = clf.score(X,Y)
        ax.scatter(X[:,0],X[:,1],c=Y
                   ,zorder=10,cmap=plt.cm.Paired,edgecolors="k"
                  )
        ax.scatter(clf.support_vectors_[:,0],clf.support_vectors_[:,1],s=100
                  ,facecolors="none",zorder=10,edgecolors='white')
        x_min, x_max = X[:,0].min() - 0.5, X[:,0].max() + 0.5
        y_min, y_max = X[:,1].min() - 0.5, X[:,1].max() + 0.5
        XX, YY = np.mgrid[x_min:x_max:200j, y_min:y_max:200j]
        Z = clf.decision_function(np.c_[XX.ravel(), YY.ravel()]).reshape(XX.shape)
        ax.pcolormesh(XX,YY,Z > 0, cmap=plt.cm.Paired)
        ax.contour(XX,YY,Z,colors=['k','k','k'],linestyles=['--','-','--']
                   ,levels=[-1,0,1])
        ax.set_xticks([])
        ax.set_yticks([])
        if ds_cnt == 0:
            ax.set_title(kernel)
        ax.text(0.95, 0.06
               ,('%.2f' %score).lstrip('0')
               ,size=15
               ,bbox=dict(boxstyle='round',alpha=0.8,facecolor='white')
               ,transform=ax.transAxes
               ,horizontalalignment='right')
plt.tight_layout()
plt.show()
# 这些被白色框圈出的点当做支撑向量，也便是说虚线超平面都或许过这些向量
# 仅仅现在选出了在指定参数的状况下对应决议计划函数最好的一个

白色圈圈出的便是咱们的支撑向量，能够看到，一切在两条虚线超平面之间的点，和虚线超平面外，但归于另一个类别的点，都被咱们认为是支撑向量。并不是由于这些点都在咱们的超平面上，而是由于咱们的超平面由一切的这些点来决议，咱们能够经过调理C来移动咱们的超平面，让超平面过任何一个白色圈圈出的点。参数C便是这样影响了咱们的决议计划，能够说是彻底改动了支撑向量机的决议计划过程。

跟着C的增大，虚线超平面会逐渐向决议计划鸿沟接近，而且有时决议计划鸿沟还会旋转

X,y = make_moons(n_samples=n_samples,noise=0.2,random_state=0)
fig, axes = plt.subplots(4,1,figsize=(5,16))
for i,n in zip(range(4),[0.01,0.5,1,10]):
    clf = SVC(kernel="linear",C=n,gamma=2).fit(X,y)
    score = clf.score(X,y)
    ax = axes[i]
    # 指定subplots只有一列时，axes索引也只需求一个元素
    ax.scatter(X[:,0],X[:,1],c=y,cmap=plt.cm.Paired,zorder=10,edgecolors='k')
    ax.scatter(clf.support_vectors_[:,0],clf.support_vectors_[:,1],s=100
                ,facecolors="none" # 点的色彩是通明
                # 这儿不能直接运用前面的y，由于support_vectors_的数量和y的数量是不一样的
                ,zorder=10,edgecolors='white')
    # 假如不写zorder=10会被后边画的图覆盖
    x_min,x_max = X[:,0].min() - .5,X[:,0].max() + .5
    y_min,y_max = X[:,1].min() - .5,X[:,1].max() + .5
    XX,yy = np.mgrid[x_min:x_max:200j,y_min:y_max:200j]
    Z = clf.decision_function(np.c_[XX.ravel(), yy.ravel()]).reshape(XX.shape)
    ax.pcolormesh(XX,yy,Z > 0, cmap=plt.cm.Paired)
    ax.contour(XX,yy,Z,levels=[-1,0,1],linestyles=['--','-','--'],colors=['k','k','k'])
    ax.text(0.95, 0.06
               ,('%.2f' %score).lstrip('0')
               ,size=15
               ,bbox=dict(boxstyle='round',alpha=0.8,facecolor='white')
               ,transform=ax.transAxes
               ,horizontalalignment='right')
plt.show() # 留意plt.show()的位置，第一次show()后边的图显现不出来

详解支持向量机-支持向量机-硬间隔与软间隔：重要参数C【菜菜的sklearn课堂笔记】

重要参数C

软距离的支撑向量

相关文章

Python爬虫实战(二)：微博评论文本爬取

容易忽略的React类组件生命周期函数

为什么用户线程必须映射到内核线程

解锁tRPC高性能密码：网络方案简介！

作者信息