通过这篇博客，你将明晰的明白什么是分类的正则化。这个专栏名为文言机器学习中数学学习笔记，主要是用来共享一下我在 机器学习中的学习笔记及一些感悟，也希望对你的学习有帮助哦！感兴趣的小伙伴欢迎私信或者评论区留言！这一篇就更新一下《 文言机器学习中的数学——分类的正则化》

一、分类的正则化

在上一篇问文章中咱们介绍了正则化，正则化是削减过拟合的有效手法。之前评论的是回归的状况，关于分类也能够运用正则化，大家还记得逻辑回归的方针函数吗？也便是对数似然函数：

分类也是在这个方针函数中添加正则化项就行了，道理是相同的。

留意一下前面添加了负号，那么对数似然函数本来以最大化为方针。可是，这次我想让它变成和回归的方针函数相同的最小化问题，所以加了负号。这样就能够像处理回归相同处理它，所以只需加上正则化项就能够了。也便是说：回转符号是为了将最大化问题替换为最小化问题！ 回转了符号之后，在更新参数时就要像回归相同，与微分的函数的符号反方向移动才行。方针函数的方式变了，参数更新的表达式也会变！不过，只需再把正则化项的部分也微分了就行。

二、包括正则化项的表达式的微分

在上面的的学习中，咱们把回归的方针函数分成了 C() 和 R()。这是新的方针函数的方式，咱们要对它进行微分。

因为是加法，所以对各部分进行偏微分：

C() 是本来的方针函数，解说回归的时分咱们现已求过它的微分方式了。

求过就不必再求了，所以接下来只需对正则化项进行微分就行了。正则化项仅仅参数平方的和，所以它的微分也很好求。

能够看出，在微分时表达式中的 1/2 被抵消，微分后的表达式变简略了。那么终究的微分成果便是这样的:

剩余要做的便是把这个微分成果代入到参数更新表达式里去。

上面便是这加入了正则化项的参数更新表达式，不过，咱们之前说过一般不对 0 运用正则化。R() 对 0 微分的成果为 0，所以 j = 0 时表达式 中的 j 就消失了。因此，实际上咱们需求像这样区别两种状况。

逻辑回归的流程也是相同的。本来的方针函数是 C()，正则化项是 R()，现在对 E() 进行微分。

在上面的表达式中咱们现已求过逻辑回归本来的方针函数 C() 的微分，不过现在考虑的是最小化问题，所以要留意在前面加上负号。也便是要进行符号的回转。

别的，方才咱们现已求过正则化项 R() 的微分了，能够直接运用。

也便是说这次不需求任何新的核算。那么，参数更新表达式应该是这样的——这次我把 0 的状况区别出来了。

方才咱们介绍的办法其实叫L2正则化。除 L2 正则化办法之外，还有 L1正则化办法。它的正则化项 R 是这样的。

L1 正则化的特征是被判定为不需求的参数会变为 0，然后削减变量个数。而 L2 正则化不会把参数变为 0。方才我说过二次式变为一次式的例子吧，用 L1 正则化就真的能够完成了。L2 正则化会抑制参数，使变量的影响不会过大，而 L1 会直接去除不要的变量。运用哪个正则化取决于要处理什么问题，不能混为一谈。现在只需记住有这样的办法就行，将来一定会有用的。