核算学习入门

本系列仅以自己学习进程作为参阅，将其学习过的常识与自己的了解用文字的方式记录，希望也能对一同生长的朋友有所协助，若有错误请各位大佬不吝赐教。

前语

在本文中，对一些0基础的问题进行解说，可是由于触及到常识规划太广，难以悉数触及，主张先对线性代数、高数、概率论的部分内容把握扎实之后再来阅览，会减少一些阅览的妨碍

线性代数部分

• 至少先去搞懂矩阵、范数、特征向量和特征值等等

• 推荐材料

• 名校公开课-线性代数-秦静 | 山东大学_哔哩哔哩_bilibili

• -UP主汉语配音-【线性代数的实质】合集-转载于3Blue1Brown官方双语】_哔哩哔哩_bilibili

高数部分

• 至少搞懂导数/ 微分/ 积分 /梯度 等等，主张都学一下
• 《高等数学》同济版 全程教育视频（宋浩老师）_哔哩哔哩_bilibili

概率论

• 条件概率，希望等等
• 概率论与数理核算全集（核算学）（清楚易懂，看过的都说好！）_哔哩哔哩_bilibili

若想愈加深入学习能够自行去找一些优质资源，打好扎实数理基础。

一、什么是核算学习？

• 核算学习是关于核算机依据数据构建概率核算模型并运用模型对数据进行猜测与剖析的一门学科。
• 它的首要特色是：
  • 建立在核算机与网络
  • 以数据为研讨方针
  • 对数据进行猜测与剖析
  • 为多学科穿插体系
• 因而核算学习能够称为运用数据及核算办法进步体系性能的机器学习，机器学习的全称往往是指核算机器学习

二、分类

根本分类

核算学习一般包含监督学习、无监督学习、强化学习。有时还会有监督学习和自动学习。

在这儿，咱们以监督学习为比方，来熟悉核算学习中一些很常见的概念

请留意，或许概念有点多，咱们恰当了解就行，不用故意记忆，用的多了自然会熟的。

1. 监督学习

• 监督学习（supervised learning）运用练习数据集学习一个模型，再用模型对测验样本集进行猜测，由于进程中需求标示的练习数据集，而标示往往是人工进行，所以也可看做是被人监督的机器学习。
• 咱们将输入变量写作$X$，它对应的每一个取值写作$x$，输出变量界说为$Y$，对应的每一个值看做$y$。每一个详细的输入变量$x$咱们能够以为是一个实例（instance），每一个实例由特征向量（feature vector）表明,且一切特征向量同处于一个空间，称为特征空间（feature space）。
• 另外，由于特征向量具有多个维度（相似于一个实体具有许多不同的特色），因而咱们一般将其界说为以下方式：
  • x=(x(1),x(2),⋯ ,x(i),⋯ ,x(n))Tx=\left(x^{(1)}, x^{(2)}, \cdots, x^{(i)}, \cdots, x^{(n)}\right)^{\mathrm{T}}x=(x(1),x(2),⋯,x(i),⋯,x(n))T
  • 其间：x(i) x^{(i)}x(i)表明$x$的第 i 个特征，而后文说到的xix_{i}xi​则为多个输入变量中的一个
• 根本假定：X和Y具有联合概率散布
  • 联合概率散布，简略来说便是两个及以上的随机变量组成的关于随机变量的概率散布，而且界说在同一个样本空间
• 数据集：咱们上文说到监督学习是运用练习数据集学习，而且对测验样本进行猜测，要进行猜测使命的前提是，需求有对应的实在数据，因而练习数据集由输入输出对组成，一般表明为：
  • T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}
• 假定空间：这儿的假定空间和上述特征空间并不相同，需求差异留意。假定空间是指，一切或许的能满意样本输入与输出映射的调集，也便是一切对应联系的总和，当咱们确立了一个假定，那么依据该假定的假定空间及其规划巨细就能够确认。例如一个苹果有三种色彩，三种脆度和三种巨细，那么总共它有三个特色，若咱们的假定红色苹果是一个好苹果，那么假定空间的巨细便是3，也便是只有三种或许性，若咱们给出的假定是一个瓜是不是好瓜，需求结合三种特色一起判断，那么就有4*4*4种或许性（例如三种色彩+不是这三种色彩的便是好瓜），也便是假定空间的巨细为64。
• 进程：学习 + 猜测
  • 学习：经过练习模型，得到一个条件概率散布P(Y∣X)\hat{P}(Y \mid X)P(Y∣X)或决策变量Y=f(X)Y=\hat{f}(X) Y=f​(X)
    • P（Y | X）是指在满意X的条件下，Y产生的概率，也称为后验概率
  • 猜测：yN+1=argmax⁡P(y∣xN+1)y_{N+1}=a r g \max \hat{P}\left(y \mid x_{N+1}\right)yN+1​=argmaxP(y∣xN+1​)或yN+1=f(xN+1)y_{N+1}=f\left(x_{N+1}\right) yN+1​=f(xN+1​)给出相应的输出yN+1y_{N+1}yN+1​
    • argmax(f(x))是使得 f(x)获得最大值所对应的变量点x(或x的调集)

概率模型（probabilistic model）

条件概率散布模型方式：$P(y|x)$，其间x为输入，y为输出。若在无监督学习中则为$P(z|x)$或$P(x|z)$，其间x是输入，z是输出。

• 非概率模型（nonprobabilistic model）

又称确认性模型（deterministic model），取函数方式$y=f(x)$，无监督学习中则为$z=g(x)$

• 条件概率散布$P(y|x)$和函数$y=f(x)$能够相互转化，前者一般是生成式模型，输出某个猜测的“概率”，后者一般是判别式模型，输出某个猜测的“得分”，两者在练习时都是最大化正确猜测的概率或得分。

  • 咱们现在先运用一下后边会介绍的模型，来简略的引入，看不懂没联系（以下比方参照xSeeker答复）
  • 以朴素贝叶斯二分类为比方，条件概率散布最大化后得到函数是指：
    • y=f(X)=arg⁡max⁡P(Y∣X)=arg⁡max⁡kP(X∣y=k)P(y=k)P(X),k∈{0,1}y=f(X)=\arg \max P(Y \mid X)=\arg \max _{k} \frac{P(X \mid y=k) P(y=k)}{P(X)}, k \in\{0,1\}y=f(X)=argmaxP(Y∣X)=argmaxk​P(X)P(X∣y=k)P(y=k)​,k∈{0,1}
  • 以逻辑斯特回归为例，函数归一化后得到条件概率：
    • f(X)=WX+bP(y=1∣X)= Sigmoid (f(X))\begin{array}{l}f(X)=W X+b \\P(y=1 \mid X)=\text { Sigmoid }(f(X))\end{array}f(X)=WX+bP(y=1∣X)= Sigmoid (f(X))​
  • 这儿或许有朋友不懂什么是归一化，简略说便是将已有数据去除量纲，比方一个样本有多个特征，但或许大部分特征数值集中1~10之间，突然有一个特征均匀数值比另外这些特征高得多，那么它就会严峻的影响成果，对断定起主导作用，为了根绝这样的状况能够将所以特征都经过一些合适的归一化函数，将其数值规定到0-1之间，使得每个特征对成果影响相对平等。

• 监督学习的使命便是学习一个模型，而且运用它，给定输入猜测相应输出

• 一般方式为：

  • 决策函数$Y=f(X)$或条件概率散布$P(Y|X)$

• 核算学习办法也能够分为生成办法（generative approach）和区分办法（discriminative approach），所学到的模型分别是生成模型（generative model）和区分模型（discriminative model）

  • 在监督学习中，概率模型是生成模型，非概率模型是区分模型

• 生成办法联系的是给定了输入X产生输出Y，X与Y之间的联系

  • 特色：复原联合概率散布P（X，Y），区分办法不能，学习收敛速度往往很快，且样本数量满足大时更能收敛于实在模型。
  • 典型运用模型有朴素贝叶斯模型和隐马尔卡夫模型..会在今后的文章中说到

• 区分模型则更侧重于给定输入X，应该猜测什么样输出Y

  • 直接面对猜测的模型，学习精确率往往更高，但由于直接学习的是P（Y|X）或许f（X），能够对数据进行笼统，界说特征并运用特征，因而能够简化学习问题。
  • 典型运用包含K-means，感知机，决策树，逻辑斯谛回归模型，最大熵，支撑向量机….相同也会在后边进行讲述

2. 无监督学习

• 从监督学习过渡过来，咱们能够自然想到无监督学习便是选用无标示数据来学习猜测模型的机器学习。
  • 实质上是学习数据中的核算规则或潜在结构。
• 学习与猜测进程和监督学习相似，数据集一般表明为：
  • U={x1,x2,…,xN}U=\{x_{1},x_{2},…,x_{N}\}U={x1​,x2​,...,xN​}
  • 其间xix_ixi​，i = 1,2,…,N.
  • 请留意这儿每一个x为一个样本，不要和上面的x(1)x^{(1)}x(1)混淆

3. 强化学习

• 智能体系在与环境的连续互动（一般指的是不断试错）中学习最优行为战略的机器学习问题

• 实质：学习最优的序贯决策

• 智能体系与环境的互动如上图，详细解说起来便是，每迭代一步，首要智能体系从环境观察到一个状况（state）sts_{t}st​与一个奖（reward)rtr_{t}rt​，后采纳一个动作（action）ata_{t}at​，决议下一步的状况与奖赏，大约便是一个动态规划的感觉。设置的方针不是短期最大化，而是长时间堆集奖赏最大化。强化学习便是不断试错（trial and error）以学习到最优战略的进程。

• 一个强化学习的经典案例，是马尔可夫链

  • 
  • 

    • 总而言之，学习一般便是从一个价值函数开端，经过搜索找到愈加好的价值函数，用其间叠加的奖赏来表明是否更好。

4. 半监督学习与自动学习

• 半监督学习（semi-supervised learning）即运用少数标示数据和许多未标记数据，旨在运用未标示数据中信息辅佐标示数据，进行监督学习，以较低本钱达到较好的学习作用。
• 自动学习（active learning）是指机器自动给出实例让人工来进行标示，方针是找出对学习最有协助的实例，运用人工来对其特别标示，从而耗费较少价值达到较好的学习作用。
• 半监督学习和自动学习更接近监督学习

其他分类（部分）

这儿为扼要介绍，咱们快速了解即可。

按算法分类

在线学习（online learning）

• 每次承受一个样本，进行猜测，之后学习模型，并不断重复该操作的机器学习
• 在线学习的学习与猜测进程在一个体系中，每次承受一个输入xtx_{t}xt​，用已有模型给出猜测f(xt)\hat{f}\left(x_{t}\right)f​(xt​)，之后得到的成果即为该输入对应的输出yty_{t}yt​，咱们的学习猜测体系运用丢失函数核算与理论f(xt)f\left(x_{t}\right)f(xt​)的差异，更新模型不断重复的进程叫做在线学习。

• 在线学习一般比批量学习更难猜测精确率更高的模型，由于迭代进程中能够运用的数据有限。
• 但当数据规划量很大以至于不或许一次处理一切数据，又或许数据采纳的学习方式动态变化就必须得运用在线学习。
• 下文提及的运用随机梯度下降的感知机学习算法便是在线学习算法。

---

批量学习（batch learning）

• 一次承受一切数据，学习模型，之后进行猜测。
  • 长处
    • 效率高，学习能够并行
    • 消除样本次序的影响
  • 缺点
    • 需求对内存容量宽余，满意一次性加载一切练习集的条件，许多时分并不合适实际问题
    • 不合适高维度问题（相同也是内存溢出问题）

按参数数量分类

简而言之，便是看参数个数是否固定，参数个数固定的便是参数化模型，反之便对错参数化

参数化模型（parametric model）

• 假定：模型参数维度固定，能够由有限维度参数彻底刻画
• 后续会介绍的感知机、朴素贝叶斯、逻辑斯谛回归…为参数化模型

---

非参数化模型（nonparametric model）

• 假定：模型维度不固定或许无穷大，跟着练习数据量添加不断添加
• 后续会介绍的决策树、支撑向量机…是为非参数化模型

按技巧进行分类

贝叶斯学习（Bayesian inference），是运用贝叶斯定理，核算给定数据条件下模型的条件概率，即后验概率，并运用这个模型进行估量，和对数据进行猜测

• 已然这儿说到了贝叶斯定理，那就简略来介绍一下：事情 A 在事情 B 产生的条件下与事情 B 在事情 A 产生的条件下，它们两者的概率并不相同，可是它们两者之间存在必定的相关性，并具有以下公式（称之为“贝叶斯公式”）：

• P(A∣B)=P(B∣A)P(A)P(B)P(A \mid B)=\frac{P(B \mid A) P(A)}{P(B)}P(A∣B)=P(B)P(B∣A)P(A)​

  • 其间：
  • P（A）便是在全体数据集的基础上，A事情呈现的概率，例如一页书有99个单词，问有多少个how，假如呈现3个how，那么P（A）为1/33
  • P（B|A）是条件概率的符号，由于咱们求得方针是在B产生的状况下，A产生的概率，那么这个就不能简略的叫做概率了，在核算学里能够用”似然度”来称号他
  • P（A|B）是指在B产生的的状况下，A产生的概率，核算成果被称为后验概率

• 这个公式证明也非常简略，这儿能够说一下。

  • P（A，B）代表AB的联合概率散布，那么P（A，B）能够等于P（A|B）*P（B），也能够等于P（B|A）*P（A），那么
    • $P（A|B）\ast P（B）=P（B|A）\ast P（A）$,即上述公式

另外，尽管贝叶斯估量和极大似然估量思维上有很大的不同，可是只需假定，先验概率是均匀散布的，取后验概率最大，就能从贝叶斯估量中得到极大似然估量。

核办法（kernel method），核办法是一种表明和学习非线性模型的机器学习办法，能够用于监督学习和无监督学习。对一些线性模型，也能够运用，直接的做法是，直接从输入空间（低维）到特征空间（高维）的映射，并在特征空间中进行内积核算，将输入空间的线性不可分问题转化为特征空间的线性可分问题。他的详细技巧能够了解为，并不显现的界说一个一个的映射，而是把这些映射都界说为一个函数，称为核函数（即映射之后的内积），这样能够简化核算以及达到相同作用，节省时间空间。

三、核算学习办法三要素

• 核算学习办法由三要素构成：
  • $方法=模型+策略+算法$
  • 下面仍然以监督学习进行举例学习三要素，非监督学习，强化学习也相同具有三要素，能够说，构建一种核算学习办法，便是确认详细的核算学习三要素

战略

• 由于战略中的概念在模型中均有表现，因而咱们从战略开端学习三要素
• 核算学习需求考虑依照什么样的准则学习或挑选最优的模型，这个准则便是战略

丢失函数与危险函数

• 首要引入丢失函数（loss function）与危险函数（cost function）的概念。丢失函数衡量模型一次猜测的好坏，危险函数衡量均匀意义下模型猜测的好坏。

• 常用丢失

• 一般来讲丢失函数值越小，模型越好。由于模型的输入、输出（X，Y）是随机变量，且遵循联合散布P（X，Y），所以咱们能够得到丢失函数的希望：

• 其实便是把每一次迭代的丢失，求均匀

  • 这个希望便是危险函数（risk function）或希望丢失（expected loss）

• 另外，这个是理想状况下的丢失，假如对应到实际的数据集，那么公式变成如下方式

• Remp就被界说为经历危险（empirical risk）或经历丢失（empirical loss）
• 依据大数定律，当N趋于无穷时，经历危险趋近于希望危险，但现实中样本数量有限，常常不能直接这样做，要进行必定的纠正，这儿介绍监督学习的两个根本战略：经历危险最小化和结构危险最小化。

根本战略

• 经历危险最小化（empirical riusk minimization， ERM）

• 其间$\mathcal{F}$是假定空间，下面模型会介绍到。
• 这个就和经历丢失的公式根本相似，他是用于样本满足大的状况，找到能使得丢失最小的那一种战略。
• 但样本容量很小的时分，经历危险最小化作用就有待商榷了，或许会产生过拟合（over-fitting）的状况

---

• 结构危险最小化（structural risk minimization，SRM）

• 结构危险最小化是在经历危险最小化的条件下做出的补充，也便是添加一个表明模型杂乱度的正则化项（regularizer）或罚项（penalty term）（后续会介绍）
  • 其间：J（f）表明模型杂乱度，也称之为泛函，模型越杂乱，J（f）就越大，λ>=0，是系数
• 该战略以为，结构危险最小的模型是最优的模型，所以求最优模型便是求解最优化问题

模型

• 在监督学习中，模型便是所要学习的决策函数或许条件概率散布，而且模型的假定空间（hypothesis space）包含一切或许的条件概率散布和决策函数。
  • 假定空间用$\mathcal{F}$表明，假定空间能够界说为决策函数的调集：
    • $\mathcal{F}=\{f\mid Y=f(X)\}$
      • 其间：X和Y是界说在输入空间$\mathcal{X}$和输出空间$\mathcal{Y}$上的变量，此刻$\mathcal{F}$一般是参数向量决议的函数族（也便是多个在同一级别的函数）。
  • 假定空间也能够界说为条件概率的调集：
    • F={P∣Pθ(Y∣X),θ∈Rn}\mathcal{F}=\left\{P \mid P_{\theta}(Y \mid X), \theta \in \mathbf{R}^{n}\right\}F={P∣Pθ​(Y∣X),θ∈Rn}
      • 这个$\theta$便是1,2,3….这些数嘛，属于Rn\mathbf{R}^{n}Rn（n维的欧式空间），这个Rn\mathbf{R}^{n}Rn也称作参数空间（parameter space）

模型评估

• 由于，核算学习的首要意图是使学到的模型需求对不知道数据也能进行杰出猜测，所以说当丢失函数给定时，依据丢失函数的练习差错（training error）和模型的测验差错（test error）就自然成为学习办法好坏的标准，而且，也要留意练习时的丢失函数，未必是评估时的丢失函数。

• 假定学习到的模型是Y=f(X)Y=\hat{f}(X)Y=f​(X)，这儿咱们在回想一下，模型其实便是一个能解决问题的数学函数，那么练习差错便是该模型关于练习数据集的均匀丢失：

  • Remp(f)=1N∑i=1NL(yi,f(xi))R_{\mathrm{emp}}(\hat{f})=\frac{1}{N} \sum_{i=1}^{N} L\left(y_{i}, \hat{f}\left(x_{i}\right)\right)Remp​(f​)=N1​∑i=1N​L(yi​,f​(xi​))
    • 其间：L(yi,f(xi))L\left(y_{i}, \hat{f}\left(x_{i}\right)\right)L(yi​,f​(xi​))为丢失函数的意思，也便是把模型估量的值和实在值比对，并将其好坏笼统成一个函数算得分。N便是练习样本容量。

• 测验集差错也是同理：

  • Remp(f)=1N∑i=1NL(yi,f(xi))R_{\mathrm{emp}}(\hat{f})=\frac{1}{N} \sum_{i=1}^{N} L\left(y_{i}, \hat{f}\left(x_{i}\right)\right)Remp​(f​)=N1​∑i=1N​L(yi​,f​(xi​))
    • 其间N‘为测验样本容量

模型挑选

过拟合（over-fitting）

• 假如一昧只是寻求对练习数据的猜测才能，而使得模型过于杂乱（参数非常多，非常杂乱的函数），那么往往不能很好的完成对不知道数据的猜测使命，咱们举个比方
  • 假定给定一个练习数据集：
    • T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}
    • 其间，xi∈Rx_{i} \in \mathbf{R}xi​∈R是输入x的观测值，yi∈Ry_{i} \in \mathbf{R}yi​∈R是输入y的观测值，i = 1,2，…,N。其实T便是一个散点调集嘛。
  • 现在咱们考虑对给定的数据，用函数进行拟合，比方下图中空心原点便是一个数据点，咱们选用M次多项式进行拟合。

• 设M次多项式为：
  • fM(x,w)=w0+w1x+w2x2+⋯+wMxM=∑j=0Mwjxjf_{M}(x, w)=w_{0}+w_{1} x+w_{2} x^{2}+\cdots+w_{M} x^{M}=\sum_{j=0}^{M} w_{j} x^{j}fM​(x,w)=w0​+w1​x+w2​x2+⋯+wM​xM=∑j=0M​wj​xj
• x为单变量输入，w0、w1…是 M + 1 个权重
• 在这儿能够运用战略部分学习到的经历危险最小化战略，将模型与练习数据带入，可得
  • L(w)=12∑i=1N(∑j=0Mwjxij−yi)2L(w)=\frac{1}{2} \sum_{i=1}^{N}\left(\sum_{j=0}^{M} w_{j} x_{i}^{j}-y_{i}\right)^{2}L(w)=21​∑i=1N​(∑j=0M​wj​xij​−yi​)2
    • 丢失函数为上述说到的平方丢失，系数12\frac{1}{2}21​只是为了便利核算
• 若要求解可用最小二乘法拟合多项式系数唯一解，有爱好的同学能够去查阅相关材料，不过咱们这儿首要是为了解说过拟合的状况
• 图1.8给出了M=0，M=1，M=3，M=9，即多项式权重的个数与多项式的次数，不难发现，M的值太大或许太小，都会导致拟合曲线与原曲线严峻不符合。一般来讲咱们模型的项数不能太高，由于有维度诅咒，感爱好的同学能够去查找龙格效应，所以，尽管模型的丢失L会依据模型的维度提升（越杂乱的模型确实能更好的拟合练习数据），不断减小，但咱们往往遵循简略的准则，只需Loss根本合格即可选用该模型，依据经历，回归模型的维度一般要操控到6~7次方以内。在这儿，当 M = 3 时，多项式曲线对练习数据拟合作用满足好，模型也比较简略，是一个较好的挑选。

• 图1.9描绘练习差错和测验差错与杂乱度的联系。
• 为了挑选杂乱度恰当且测验差错最小的学习意图，下面介绍两种常用模型挑选办法：正则化与穿插验证

正则化（regularization）

• 正则化能够来了解为结构危险最小化的完成，一般具有如下方式：

  • min⁡f∈F1N∑i=1NL(yi,f(xi))+λJ(f)\min _{f \in \mathcal{F}} \frac{1}{N} \sum_{i=1}^{N} L\left(y_{i}, f\left(x_{i}\right)\right)+\lambda J(f)minf∈F​N1​∑i=1N​L(yi​,f(xi​))+λJ(f)

    • 其间，第一项是经历丢失，第二项是正则化项，λ >= 0 为调整两者联系的系数（前面根本战略也有说到）

  • 正则化项是有不同方式的，在回归问题中，丢失函数是平方丢失，正则化项能够是参数w的L2范数、L1范数等等。

    • L(w)=1N∑i=1N(f(xi;w)−yi)2+λ2∥w∥2L(w)=\frac{1}{N} \sum_{i=1}^{N}\left(f\left(x_{i} ; w\right)-y_{i}\right)^{2}+\frac{\lambda}{2}\|w\|^{2}L(w)=N1​∑i=1N​(f(xi​;w)−yi​)2+2λ​∥w∥2

    • L(w)=1N∑i=1N(f(xi;w)−yi)2+λ∥w∥1L(w)=\frac{1}{N} \sum_{i=1}^{N}\left(f\left(x_{i} ; w\right)-y_{i}\right)^{2}+\lambda\|w\|_{1}L(w)=N1​∑i=1N​(f(xi​;w)−yi​)2+λ∥w∥1​

    • 范数：向量的范数能够简略形象的了解为向量的长度，或许向量到零点的距离，或许相应的两个点之间的距离。以后在论文中会常常呈现

    • 常用的向量的范数：
      L1范数: ||x|| 为x向量各个元素绝对值之和。
      L2范数: ||x||为x向量各个元素平方和的1/2次方，L2范数又称Euclidean范数或许Frobenius范数
      Lp范数: ||x||为x向量各个元素绝对值p次方和的1/p次方

      L∞范数: ||x||为x向量各个元素绝对值最大那个元素的绝对值，如下:

      • lim⁡k→∞(∑i=1n∣pi−qi∣k)1/k\lim _{k \rightarrow \infty}\left(\sum_{i=1}^{n}\left|p_{i}-q_{i}\right|^{k}\right)^{1 / k}limk→∞​(∑i=1n​∣pi​−qi​∣k)1/k

  • 这儿或许各位朋友又有疑问了，这么多范数，怎样选呢？

    • 这或许得详细状况详细剖析，例如W是有多个维度的特征向量，那么你以为或许它里面哪一个维度是最重要的，就能够单独用那个维度来运用范数（L1），若p个维度都很有用，那么就能够挑选Lp范数

• L（w）的第一项经历危险较小的模型或许较杂乱（多个非0参数），这时第 2 项模型杂乱度较大，就能够使得λ增大，从而loss添加，正则化的用处便是挑选经历危险与模型杂乱度一起较小的模型

---

穿插验证（cross validation）

• 当模型满足多时，咱们只需求将数据简略随机分配成三部分，练习集（training set）、验证集（validation set）和测验集（test set）。练习集用来练习模型，验证集用于挑选模型，测验集便是终究对学习办法的评估，一般来讲，练习集和验证集都是会供给问题和答案，而测验集不会供给答案，就用猜测成果作为答案。
• 可是当数据量不够多的时分，为了挑选到好的模型，咱们能够将数据重复运用，便是不断重复同一个数据集，随机切分练习集和测验集，进行迭代，在此基础上反复练习，重复便是穿插验证的实质
• 1、简略穿插验证
  • 随机将已给数据分为两部分，一部分练习集，一部分测验集（一般7/3开），然后便是正常的
• 2、S折穿插验证
  • 运用最多的是S折穿插验证（S-fold cross validdation)，详细办法便是，将数据切分为等大的S个互不相交、巨细相同的子集，运用S-1个子集练习数据，1个用来测验，这样的话总共能够练习S次，终究S次测评中均匀差错最小的模型即可
• 3、留一穿插验证
  • 中心思维是：每一条数据为一个子集。合适于S = N的状况（S为折数，N为总样本数），往往在数据非常缺乏的时分运用

算法

• 算法是指学习模型的详细核算办法
• 核算学习有三步
  • ①依据学习战略②从假定空间中挑选最优模型③考虑用什么核算办法求解最优模型
• 有时咱们运用已有的最优化算法即可，有时需求单独开发最优化算法。
• 下一篇感知机的文章，咱们就会说到第一个算法实例：随机梯度下降法（stochastic gradient descent）

四、泛化才能

泛化才能（generalization ability）是指办法学习到模型对数据的猜测才能

泛化差错（generalization error）

• 现实中，大多点评泛化才能是经过测验数据集的，可是数据集是有限的，这或许导致成果不可靠，因而，核算学习理论企图从理论对学习办法的泛化才能进行剖析
• 泛化差错其实便是希望丢失下加入实在数据的产品（公式根本彻底相同，从练习数据替换为了猜测数据）
  • Rexp⁡(f)=EP[L(Y,f(X))]=∫X×YL(y,f(x))P(x,y)dx dy\begin{aligned} R_{\exp }(\hat{f}) &=E_{P}[L(Y, \hat{f}(X))] \\ &=\int_{\mathcal{X} \times \mathcal{Y}} L(y, \hat{f}(x)) P(x, y) \mathrm{d} x \mathrm{~d} y \end{aligned}Rexp​(f​)​=EP​[L(Y,f​(X))]=∫X×Y​L(y,f​(x))P(x,y)dx dy​
• 泛化差错上界（generalization error bound）
  • 学习办法的泛化才能剖析往往是经过研讨泛化差错的概率上界进行的，简称泛化差错上界
  • 详细来说便是比较泛化差错上界的巨细从而比较泛化才能的优劣
    • 样本容量的函数，当样本容量非常大时，泛化上界趋于0
    • 假定空间容量的函数，容量越大，模型越难学，泛化差错上界就越大。
  • 下面从有限调集F={f1,f2,⋯ ,fd}\mathcal{F}=\left\{f_{1}, f_{2}, \cdots, f_{d}\right\}F={f1​,f2​,⋯,fd​}中任意选出函数$f$（F是一个函数调集）剖析他的泛化差错上界
  • 对二分类使命而言，每一个函数f的概率至少是$1-\delta ,0<\delta <1$，那么，有以下不等式成立：
    • R(f)⩽R(f)+ε(d,N,δ)R(f) \leqslant \hat{R}(f)+\varepsilon(d, N, \delta)R(f)⩽R(f)+ε(d,N,δ)
  • 其间：
    • ε(d,N,δ)=12N(log⁡d+log⁡1δ)\varepsilon(d, N, \delta)=\sqrt{\frac{1}{2 N}\left(\log d+\log \frac{1}{\delta}\right)}ε(d,N,δ)=2N1​(logd+logδ1​)​
  • 这个我以为了解就好，毕竟证明关于初学也过于杂乱了，左端R(f)为泛化差错，右端为泛化差错上界。右端第一项是练习差错，练习差错越小，泛化差错会越小。第二项是 N 的单调递减函数，N趋于无穷（样本数量满足多）该项趋于0；一起该项也是$\log d$阶的函数，F包含的函数越多，其值越大。

五、监督学习运用

分类问题

• 分类问题包含学习和分类两个进程。学习进程中，运用练习数据（x1，y1),(x2，y2)…(xn,yn)学习分类器；分类进程中运用分类器（模型）对测验集数据(xn+1x_{n+1}xn+1​,yn+1y_{n+1}yn+1​)进行猜测,即对xn+1x_{n+1}xn+1​进行分类，猜测其类别为yn+1y_{n+1}yn+1​

• 分类器的性能指标一般是分类精确率(accuracy)，其界说是：分类器正确分类的样本数与总样本数之比。
  • 关于二分类问题，常用指标是（precision）与召回率（recall）、一般将重视的类称为正类，其余类为负类，依据在测验数据集上猜测的正确与否，将总数记作：
    • TP—将正类猜测为正类数（positive）；
    • FN—将正类猜测为负类数（negative）；
    • FP—将负类猜测为正类数；
    • TN—将负类猜测为负类数；
      • T：true；P：positive；F：false；N：Negative。
      • 以0-1问题举例，TP：猜测为1，实在值也为1，TN：猜测为0，实在值也为0，FP：猜测为1，实在为0……
  • 精确率界说为：
    • P=TPTP+FPP=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}P=TP+FPTP​
    • 即一切猜测为 1 的测验集中，猜测精确的概率（也便是该样本确实为1）
  • 召回率界说为：
    • R=TPTP+FNR=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}R=TP+FNTP​
    • 即一切实在为 1 的测验集中，猜测也为 1 的概率（猜测精确）
  • 还有能代表召回率与精确率的谐和均值，叫做F1F_{1}F1​
    • 2F1=1P+1R\frac{2}{F_{1}}=\frac{1}{P}+\frac{1}{R}F1​2​=P1​+R1​ —-> F1=2TP2TP+FP+FNF_{1}=\frac{2 \mathrm{TP}}{2 \mathrm{TP}+\mathrm{FP}+\mathrm{FN}}F1​=2TP+FP+FN2TP​
    • 与P和R成正比
  • 当精确率和召回率都高时，F1F_{1}F1​也会高。

标示问题

• 标示问题包含学习和标示两个进程，标示（tagging）能够以为是分类问题的推广，又是杂乱结构猜测问题的简略方式。
• 而且标示问题与分类问题的点评指标相同，常用的也是标示精确率、精确率和召回率

• 举一个比方便利了解

• 例如咱们现已给每一个单词都人工区分好了他的词性，经过模型练习，猜测该句，得到的成果与咱们手动的相比较，假如是相同词性，则该单词猜测精确，反之则不精确，实质上也能够当成0-1问题

回归问题

• 回归(regression)用于猜测输入变量（自变量）和输出变量（因变量）之间的联系，回归模型正是表明输入变量到输出变量之间映射的函数。回归也等价于拟合问题，详细能够看模型挑选部分的过拟合

• 回归问题依照输入变量个数，能够分为一元回归和多元回归
• 依照输入变量和输出变量之间联系的类型，能够分为线性回归和非线性回归
• 常用的丢失函数是平方丢失，在此状况下能够用最小二乘法（least squares）求解

尾言

本文为俺第一篇正经的博客，言语组织和表达才能肯定有许多不足之处，或许也会有概念在解说时呈现错误，若有大佬看到本篇博客，希望慷慨滴告诉俺有何问题，谢谢咱们看到最终，假如能够支撑一下，费事点个赞吧！

---

参阅材料

[1] 李航．核算学习办法[M]．第二版.北京: 清华大学出版社, 2019

[2] 为什么逻辑回归的丢失函数叫做穿插熵呢？ – 知乎 (zhihu.com)