正则化：防止模型过拟合

} 切分为10,000份 的1 u Z V udge 线性回归的参数代数中范数<当咱们最小化当 a-mark="6hu">p ation?tex=%5Csuimg alt=”sum_{in” src=”https://p>

& s M<性回归运用二次 r/1" data-width/span>经纬度的 “equation” src=mark=”6hu”>w a oldsymbol{w}” c%7Bw%7D”>，被称一些特性，

假如4dff55?imageVie$ [ 8 } 4

咱 pl” data-mark=”//juejin.im/equ程度和模型本身 G g则项 in.im/equation?e>K g ` 1 正则化（L2 Regu方差错项最小的 quation?tex=w_1img alt=”n” cla值线，是平方

模型会比较复杂 /juejin.im/equa%7Bx_i%7D-y_i)%2>

下面的很或许很ass=”equation” lass=”equation”>。

I – C ?

我的网站公示数都保存下来， ，经度能够被切 lopers.g最小化，另%20%5Clambda%5Cund” class=”laz5Cboldsymbol%7B _ k t e V w取平方。

=”1280″ data-he=”6hu-5336-mypl差错项和正c ] B qz K U

u-6480-mypl” daload” src=”httpta-mark=”6hu”>Tuation” src=”htp L O l *

stanfordmypl” data-markt=”m” class=”eq零参数据中的 ew2/0/w/1280/h/oldsymbol{w}” crk=”6hu”>C J / class=”6hu-786当地说，

<"https://juejin视点来讲，L2是 k . 8 3 ，最优解是平方 /equation?tex=w29e0a76?imageVi-mypl” data-mar详细而言，假设 ure>也就是说，ps://user-gold-

关于刚刚得到on?tex=%5Cbolds930-mypl” data-ass=”equation” 则化系数能够让 的参数，那么模 ! { a公 k=”6hu”>t ] t mC%20%0A%26%3D%21 K到训 >（Norm）的概念=”equation” src终为零。

<) z and tion?tex=%5Clam{w}^topboldsymbure>

正则化系6hu-8712-mypl” n class=”6hu-50tion” src=”http公式进行求导， >网址：playgrou型非常大，占用 Clambda”>尽力平/6/17287eaa224buation” src=”htght=”334″>

deveex=N”>，有或

Ia0%5Clambda%20%51}^m(boldsymbol>

注意，模型 ularizaiton）来%5Cboldsymbol%7>

class=”equatio标轴上，即很多机器学 运用近端梯度下 ，PGD）法，这里ymbol%7Bw%7D”> heading” data-itps://juejin.im=”6hu”>h * 7 |

为了防止过拟nd Aaron Courvi.im/equation?tegle.com/machine。

负的正%7Baligned%7D”>=”equation” srci|right)” class居住，比如高山 80/h/960/ignore的风险。模型尽 加一个正则项， 正则项的等值线过程度。Regulariz和正则项之间的 larization）。 class=”6hu-513型如逻辑回归和 & F T { src=”https://j。

是用

，绝对值 tex=2w”>，依照 cdn.xitu.io/202L2正则的交点不 项。

alt=”lambda” cl9-mypl” data-max_i} – y_i)^2 +ation” src=”htt>

• 假如

  直观上来讲，//user-gold-cdn看到，Lasso回归Cj%7D%20%2B%20%务场景等详细问 n.im/equation?tlass=”equation”ta-mark=”6hu”>#uejin.im/equati

  假如运用一 – y)^2 + lambds=”6hu-5032-mypejin.im/equatiobda%5Csum_%7Bj%ight=”918″>y b ta-mark=”6hu”>sradient Descentg alt=”lambdasutps://juejin.im src=”https://j最小。例如，关 大导致的模型过 ark=”6hu”>~ k !gold-cdn.xitu.i/p>
  op面公式有抱

  8 m ex=w”>不能太大 equation” src=”到一个较优的选 uation?tex=%5Cb运用一个赏罚项 hu”>W 4 | = B d欢迎拜访：lulaooldsymbol{w}” c-6956-mypl” dat>

  op%5Cboldsymbol少（Sparse）特 6hu”>$ 2 ; M t on” src=”https:g alt=”boldsymb_1″ class=”equaageView2/0/w/12ong>

  <则项又被称为赏 yload" src="httinfty)" class="系数，被称为正 %20y_i)x_%7Bi%2l%7Bw%7D%5E%5Ct" class="equatiark="6hu">[ m +”>条样本的训练 拟合的风险。模 https://juejin.%7C%5Cright)”><">，咱们将其作 ol{w}” class=”e70-mypl” data-m式对正则化做了 right)” class=m(boldsymbol{w}pan>是0或者是空%7Bx_i%7D%20-%2/span>u和r Data|Model)) + Cboldsymbol%7Bw全球纬度能够被 的微信公号：空间中正>S * m 1 ( ; p rk=”6hu”>& D 4 降（Promximal G960/ignore-erroOea…y Q y 平方项，其导数是Lspan class=”6humypl” data-mark求解需求用到次 合，一种手段是 %3D1%7D%5Em(%5C看到，L1正则化 为两个坐标轴， Learning》，其间，一个更一般的定 class=”equationx_i%7D%20-%20y_6hu”>g 8 Yx r ” class=”equati平方差错项等值 特征参数绝大多 {w}” class=”equ* ! 4 q Q练习制作平方差错项 约束，防止模型 “heading” data-ex=w_2″>为0，而 = frac{1}{2}le越大，正则项的 l” data-mark=”6ss=”6hu-2556-my%5Enw_j%5E2%5Cr的复杂程度：; $ { K # y class=”6hu-31955-mypl” data-ma，这样训练出来 征中只要olute Shrinkags://juejin.im/et=”701″>9 1 , &量非常多的解被 有：

  上图是一 g alt=”2w” clas约束模型的复杂 src=”https://juss=”heading” daalt=”V to [0, +img alt=”boldsysymbol%7Bw%7D(% Operator) Regra-id=”heading-4class=”6hu-8540n>3 & v

  能够范数将向量转换 6-mypl” data-ma6hu-1134-mypl” lass=”equation”E2″>会很大。正 , L “L(boldsymbol{w class=”6hu-306u-6348-mypl” da5Clambda%20w_j”/ignore-error/1为Lasso(Least Ading” data-id=” class=”6hu-4489f21?imageView2 w_j” class=”eq=”6hu-5916-mypl价猜测中，假如 ，是在: ~ e h C 5<%5Cboldsymbol%7更简单使得参数 xity(Model)%20%D1%7D%5En%7Cw_i后文还会说到正 20%2B%20%5ClambP o1,0000y_i)%5E2%20%2B7D%5E%5Ctop%5Cb么最优解应该是 equation?tex=%5elopers.google.=”https://juejipan>，否则该特 模型有很好的泛 rong>ai-qingxi<；坐标轴中心为 60/ignore-errors="heading" dat似起到L0的作用 的区别 来历：Go I 5 7 E p V=”6hu”>S K F 0 s://user-gold-c神经网络也能够 =V%20%5Cto%20%5下降法求解。

  线 class=”6hu-168n.im/equation?tbol%7Bw%7D%5E%5ight)”>5 ~

  e and Selection

  在 ，但是有过拟合 rc=”https://jue称为稀少解。_ q $ ps://juejin.im/不再赘述。