开启成长之旅！这是我参加「日新方案 12 月更文挑战」的第1天，点击查看活动概况

在解决分类问题的时分，能够选择的点评方针几乎不要太多。但根本能够分红两2大类，咱们今别离来说道说道

  • 依据一个概率阈值判断在该阈值下猜测的精确率
  • 衡量模型全体体现（在各个阈值下）的点评方针

在说方针之前，咱先把分类问题中会遇到的一切状况简略过一遍。咱们猜测会不会下雨：横轴是猜测概率从0-1，赤色的部分是没下雨的日子（负样本），蓝色的部分是下雨的日子（正样本）。在实在状况下咱们很难找到能对正负样本进行完美分割的分类器，所以咱们看到在猜测概率靠中心的部分，正负样本存在重合，也便是不论咱们阈值卡在哪里都会存在被错误猜测的样本。

聊聊模型指标1 - Binary classification回忆篇

上述散布中的四种状况，能够简略的用confusion matrix来概括

聊聊模型指标1 - Binary classification回忆篇

TP:猜测为正&实在为正 FP:猜测为正&实在为负 TN:猜测为负&实在为负 FN:猜测为负&实在为正

依据阈值的方针

分类模型输出的是每个样本为正的概率，咱们要先把概率转换成0/1猜测。给定一个阈值，咱们把猜测概率大于阈值的样本猜测为正，小于的为负。这时就会呈现上述confustion matrix里边的四种状况。那咱们该如何去点评模型体现呢？

新手视角- Accuracy！

这应该是大多数人第一个知道的点评方针，它把正负样本混在一同去点评全体的分类精确率。

Accuracy=TP+TNTP+TN+FN+FPAccuracy = \frac{TP + TN}{TP + TN + FN + FP}

假如你的正样本只有1%，那模型全部猜测为负，你的Accuracy便是99%

当然Accuracy也不是不能用，和正样本占比放在一同比较也是能看出来一些信息的。但Accuracy的确更适用正负样本55开，且猜测不止针对正样本的状况。

Accuracy知道咋算就能够啦，在解决实践问题的时分，往往会运用更有指向性的方针, 而且一般都会一起选用2个以上的方针因为不同方针之间往往都有trade-off

当方针是对正样本进行精确猜测 – precision, recall, F1

precision从猜测的视点衡量猜测为正的精确率，recall从实在散布的视点衡量猜测为正的精确率。**precision和recall存在trade-off, 想要挑选出更多的正样本，就要承当猜测为正精确率下降的风险。**例如在飞机过安检时，想要确保危险物品根本都被识别出来，就肯定要承当必定的误判率。不过在这种情境下查不出危险物品明显比让误判乘客多开包查看一遍要重要的多。

precision=TPTP+FPrecall=TPTP+FNprecision = \frac{TP}{TP+FP} \\ recall = \frac{TP}{TP+FN}

既然有trade-off，一般就会用能够归纳两个方针的复合方针 – F1 Score

F1=11precision+1recall=precision∗recallprecision+recallF1 =\frac{1}{\frac{1}{precision} + \frac{1}{recall}}= \frac{precision * recall}{precision + recall}

其实简略一点直接对precision,recall求均匀也能够作为复合方针，但F1用了先取倒数再求均匀的方式来防止precision或recall等于0这种极点状况的呈现

当方针是对实在散布进行精确猜测 – sensitivity(recall), specifity, fpr

sensitivity, sepcifity都从实在散布的视点，别离衡量正/负样本猜测的精确率。这一对调配最常在医学查验中呈现，衡量实践患病/没患病的人别离被正确查验的概率。正确查验出一个人有病很重要，一起正确扫除一个人没患病也很重要。

sensitivity=recallspecifity=TNTN+FPsensitivity = recall \\ specifity =\frac{TN}{TN + FP} \\

假如specifity对很多人来说很生疏的话，它兄弟很多人必定知道fpr。fpr和recall(tpr)一同构成了ROC曲线。这一对的tradeoff相同用医学查验的逻辑来解说便是，医生既不期望遗失病人的病情（recall），要不期望把本身没病的人吓出病来（fpr）。

fpr=FPTN+FP=1−specifityfpr = \frac{FP}{TN+FP} = 1- specifity

和阈值相关经常用到的方针差不多便是这些。这些方针的计算依赖于阈值的确认，所以在运用中往往用验证集来找出使F1/accuracy最大的阈值，然后运用于测验集，再用测验集的F1/accuracy来点评模型体现。下面是几个运用上述方针的kaggle竞赛

  1. F1 score www.kaggle.com/c/quora-ins…
  2. accuracy www.kaggle.com/c/titanic/o…

不过开端用到和阈值相关的点评方针有时是在模型已经确认今后。第一步在确认模型时，往往仍是需求一些能够归纳衡量模型全体体现的方针。简略！粗犷！别整啥曲线阈值的，你给我个数就完了！

归纳点评方针

归纳点评方针根本都是对上述方针再加工的产品。对应的kaggle竞赛会持续更新。

tpr(recall) + fpr = ROC-> AUC

跟着阈值从1下降到0，咱们猜测为正的样本会逐步变多，被正确筛选出的正样本会逐步增多，但一起负样本被误判为正的概率也会逐步上升。

整个遍历阈值的过程能够用ROC曲线来表明，横轴是误判率（fpr)，纵轴是精确率(tpr/recall/sensitivity)。可是给你两个分类器想要直接比较谁的ROC曲线会有点困难，所以咱们用一个scaler来描述ROC曲线便是AUC – Area under curve。 ROC曲线下的面积越大越接近完美的分类器，而对角线50%是随机猜正负就能够得到的AUC。

聊聊模型指标1 - Binary classification回忆篇

Kaggle链接 www.kaggle.com/c/santander…

AUC 适用于正负样本相对balance的状况，且分类问题对模型猜测概率的精确度没有要求的状况。详见【实战篇】

precision + recall = AUCPR（AP）

和上述ROC-AUC的思路相同。跟着阈值从1下降到0，猜测为正的样本变多，被正确筛选出的正样本增多，但一起猜测为正的精确率会下降。

这样咱们得到PR曲线，以及曲线下的面积AUCPR。有时AUCPR也被称作AP，便是对一切recall取值对应的precision求均匀。第一眼看上去我也被欺骗了，一向当成两个概念来记。可是式子一写出来，妈呀这俩不是一个东西么。

AUCPR=∑1Kr(k)∗p(k)=∫o1p(r)dr=APAUCPR = \sum_1^K\Delta{r(k)} * p(k) = \int_o^1 {p(r) dr} = AP

AP 刚好弥补AUC曲线的不足，适用于正负样本imbalance的状况，或许咱们更关心模型在正样本上体现的状况。但AP相同不能确保模型猜测概率的精确率。详见【实战篇】

cross-entropy loss

cross-entropy放在这儿会有点古怪，因为本质上它是和这儿其他一切方针都不同的存在。其他的点评方针点评的是0/1的分类作用，或许更精确说是对排序作用（依据阈值把猜测值从大到小分红0/1两半）进行点评。可是cross-entropy是直接对猜测概率是否拟合实在概率进行点评。

L=−∑i=1Nyi∗logpi+(1−yi)∗log(1−pi)L = -\sum_{i=1}^N y_i * log p_i + (1-y_i) * log(1-p_i)

kaggle链接 www.kaggle.com/c/statoil-i…

cross-entropy弥补了AP和AUC的不足。假如分类方针其实是取得对实在概率的估计的话，运用cross-entropy应该是你的选择。详见【实战篇】

*Mean F1 Score

kaggle链接 www.kaggle.com/c/instacart…

第一次见到这个方针是在Instacart的kaggle竞赛里边。这儿的mean不是指的对一切阈值下的F1求均匀值而是对每个order_id的多个product_id求F1，再对一切order_id的F1求均匀，有点绕…

之所以把这个点评方针也放在这儿是因为这个特别的点评办法会对你如何split练习集/测验集，以及如何选定最优的阈值产生影响。有爱好的能够来试一试，横竖我觉得自己是把能踩的坑都踩了一个遍，欢迎大家一同来踩坑 >_<

Reference

  1. Alaa Tharwat，Classification assessment methods，Applied Computing and Informatics
  2. Nan Ye，Kian Ming A. Chai，Wee Sun Lee，Hai Leong Chieu，Optimizing F-Measures: A Tale of Two Approaches，
  3. en.wikipedia.org/wiki/Confus…