机器学习——西瓜书从头读到尾11

  • 一种练习集一种算法
    • 经历差错与过拟合
    • 模型评价的办法
      • 练习集
      • 测验集保存办法
      • 验证集
    • 功能丈量
    • 方差
    • 错误率与精度
    • 查准率查全率
    • 最优阈值
      • 一个二分类(一张PR)
      • n个二分类完成的多分类

咱们按练习集预算法的联系进行区分。

一种练习集一种算法

经历差错与过拟合

在这里刺进图片描绘

  • 差错: 学习器的实践猜测输出与样本的真实输出之间的差异;比如一组数据 1,2,4,5.运用阈值3,将其分为两类。假设学习器的分类成果为 1和 2,4, 5 。但是实践的成果为1,2,和4,5,分错的2便是差错。
  • 经历差错练习集的差错,也叫练习差错。相关于经历差错的,还有咱们常常遇到的泛化差错,泛化差错是在新样本(测验集)的差错。
  • 过拟合:当学习器把练习样本学的“太好”了的时分,很可能已经把练习样本特色当作了潜在样本都会具有的一般性质,这会导致泛化功能下降。与过拟合相对的是“欠拟合”,这是指对练习样本的一般性质没有学好

模型评价的办法

在这里刺进图片描绘

练习集

测验集保存办法

  • 留出法:三七或二八,但注意练习集测验集同散布,或屡次随机区分练习多个模型取均匀值
  • k折穿插验证法:将练习集随机等分为k份,取其间一份为验证集评价模型,其他k-1份为练习集练习模型,重复该步骤k次,每次都取一份不同的子集为验证集,终究得到k个不同的模型(不是对一个模型迭代k次)和k个评分,归纳这k个模型的体现(均匀得分或其他)评价模型在当时问题中的优劣。
    在这里刺进图片描绘
  • 自助法:原数据集 D D D是一个包含m个样本的数据集,通过自助法有放回的重复抽样m次,每次抽取1个数据,放到 D ′ D’ D′中, D ′ D’ D′中也有 m m m个样本,一起,原来的数据集D中不被D’包含的数据作为验证集。究竟会有多少数据作为验证集呢?周教师给出了原数据集 D D D一次也未被抽中的数据的概率为:
    lim ⁡ m → ∞ ( 1 − 1 m ) m → 1 e ≈ 0.368 \lim\limits_{m \to \infty}(1-\frac{1}{m})^m \to \frac{1}{e}\approx0.368 m→∞lim​(1−m1​)m→e1​≈0.368理论状态下,验证集为 0.368 ∗ m 0.368*m 0.368∗m条数据
    适用:数据集较小难以区分时。缺点:改动初始散布,引入估量差错。

验证集

调参用,调参难度大,很多参数人为规定,为了调参,常加一个数据集进行验证,练习及练习,验证集看成果,调参,再练习…

功能丈量

均方差错

在猜测任务中,给定样例集 D = ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) D={(x_1,y_1),(x_2,y_2),…,(x_m,y_m)} D=(x1​,y1​),(x2​,y2​),…,(xm​,ym​)中是示例 x i x_i xi​的真实符号,要评价学习器 f f f的功能,就要把学习器猜测成果 f ( x ) f(x) f(x)与真实符号 y y y进行比较

{ 均 方 误 差 : E ( f : D ) = 1 m ∑ i = 1 m ( f ( x i ) − y i ) 2 对 于 数 据 分 布 D 和 概 率 密 度 函 数 p ( ⋅ ) : E ( f : D ) = ∫ x ∼ D ( f ( x i ) − y i ) 2 p ( x ) d x \left\{ \begin{aligned} & 均方差错:E(f:D)=\frac{1}{m}\sum\limits_{i=1}^m(f(x_i)-y_i)^2\\ &关于数据散布D和概率密度函数p(\cdot ):E(f:D)=\int_{x\sim D}(f(x_i)-y_i)^2p(x)dx \end{aligned} \right. ⎩⎪⎪⎪⎨⎪⎪⎪⎧​​均方差错:E(f:D)=m1​i=1∑m​(f(xi​)−yi​)2关于数据散布D和概率密度函数p(⋅):E(f:D)=∫x∼D​(f(xi​)−yi​)2p(x)dx​

错误率与精度

在这里刺进图片描绘

查准率查全率

在这里刺进图片描绘
查准率: P = T P T P + F P P=\frac{TP}{TP+FP} P=TP+FPTP​
你认为的好瓜里面真的是好瓜的份额。
查全率: R = T P T P + F N R=\frac{TP}{TP+FN} R=TP+FNTP​
我猜测的里面好瓜占真正好瓜的份额
以查准率为纵轴、查全率为横轴作图 ,就得到
了查准率-查全率曲线,简称 “P-R曲线”在这里刺进图片描绘
若一个学习器的 P-R 曲线被另一个学习器的曲线完全”包住 “ , 则可断语后者的功能优于前者。但往往学习器的 P-R 曲线发生了穿插难以断语两者孰优孰劣?在很多情形下,人们往往仍希望把学习器 A 与 B 比出个高低 . 这时一个比较合理的判据是比较 P-R 曲线节面积的巨细,它在必定程度上表征了学习器在查准率和查全率上取得相对”双高”的份额.但这个值不太简单预算,因此人们规划了一些归纳考虑查准率 、 查全率的功能度量

最优阈值

一个二分类(一张PR)

在这里刺进图片描绘

Fbeta加权的谐和均匀:对查准率和查全率的重视程度有所不同, β \beta β = 1,退化为标准的 F1; β \beta β> 1 时查全率有更大影响 ; β \beta β< 1 时查准率有更大影响。

n个二分类完成的多分类

在这里刺进图片描绘
这里咱们详细说一下如何分解n个二分类完成多分类,主要有先核算再求和,先求和再核算两方面:
在这里刺进图片描绘