吴恩达机器学习-6-机器学习的建议

出品：尤而小屋
作者：Peter
编辑：Peter

吴恩达机器学习-6-机器学习的主张

本文中记载的是吴恩达教师对机器学习的主张，包含：

• 运用机器学习的主张
• 点评假定
• 模型挑选和穿插验证
• 方差和过错诊断
• 正则化与过拟合问题

运用机器学习的主张

当咱们运用练习好了的模型来猜测不知道数据的时分发现有较大的过错，咱们下一步可以做什么？

• 获得更多的练习样本
• 查验削减特征的数量
• 查验获得更多的特机器学习征
• 查验添加多项式特征
• 查验削减正则化程度lambda
• 查验添加正则化程度lambda

点评假定Evaluating a Hypoth算法的五个特性esis

当学习的算法时分，逻辑回归的原理和使用考虑的是怎样挑选参数来使得练习过错最小化。在模逻辑回归等于型树立线性回归的过程中很简略遇到过拟合线性回归方程的a和b怎么求的问题，那么怎样点评模型是否过拟合呢？

为了查验算法是否过拟合，将数据集分红练习集和查验集，一般是7：3的逻辑回归和线性回归的差异份额。要害点是练习集和查验集均要含有各种类型的数据，一般咱们要对数据进行“洗牌”，然后再分红练习集和查验集。

当咱们在练习集上得到咱们的学习模型之后，就需求运用查验集结来查验该模型，有两逻辑回归种不同的方法：

1. 线性回归模型：运用查验数线性回归方程公式详解据核算价值函数$J$
2. 逻辑回归模型：
   • 先运用查验数据核算价回归模型值函数Jtest()J_{test}{(theta)} Jtest​()
   • 在针对每个查验集样本核算误分类的比率，再求平均值

模型回归模型r方的含义挑选和穿插验证

穿插验证

什么是穿插验证？

穿插验证集结指的是：运用**60%线性回归方程例题详解的数据线性回归作为*练习集*，运用 20%*的数据作为*穿插验证集逻辑回归和线性回归的差异，运用20%*的数据作为查验集*

模型挑选

• 运用练习集练习出逻辑回归等于10个模型
• 用10个模型分别对穿插验证集核算得出交（价值函数的值）
• 选取价值函数值最小的模型
• 用上面过程中选出的模型，对查验集核算得出推广过错（价值函数的值）
• 练习过错表明为：

J_{train}(th逻辑回归模型原理eta) =逻辑回归模型 frac{1}{2m}sum_limits{i=1}^{m}(h_{theta}(x^{(i)})-y^{(i)回归模型有哪些})^2

• 穿插验证过错（经过回归模型穿插验证数据集得到的）表明为：

• 查验过错

诊断方差和过错Diagnosing Bias vs. Variance

假定一个算法的工作作用不是很志向，只有两种情况：要么过错过大，要么方差过大。换句话就是说，要么呈现欠拟合，要么呈现过拟合。

经过练习集和穿插验证集回归模型公式的价值函数过错和多项式的次数制作在同张图中：

1. 高过错阶段

穿插验证集和练习集的价值函数过错都是很大，近似持平；

2. 高方差阶段

穿插验证集的过错远大于练习集的过错，练习集的过错很低

正则化和过错/方差Reg回归模型r方的含义ularizatio回归模型拟合作用判别n and Bi算法的五个特性as_Variance

正二元逻辑回归则化根底回归模型r方的含义

正则化技能首要是为了处理过拟合的问题。过拟合指的是：对样本数据具有很好的判别才华，可是对新的数据猜测才华很差。

• 第一个模型是一个线性模型，欠拟合，不能很好地习惯咱们的练习集
• 第三个模型是一个线性回归计算三要素四次方的模型，过于强调拟合原始数据，而丢掉了算法的实质：猜测新数据
• 中心的模型好像最合适

栗子

假定咱们需求回归模型公式对下图中的多项式进行拟合，需求正则化项

• 当lambda很大的时分，呈现高过错，假定h(x)h_theta(x)h​(x)是一条直线
• 当lambda很小约为0的时分，呈现高方差

假定是多项式拟合，x的次数越高，拟合的作用越好，可是相应的猜测才华就可能变差。对于过拟合的处理：

1. 丢掉一些不能正确猜测的特征。可所以手艺挑选保存哪些特征，或许运用一些模型挑选的算法，例如PCA
2. 正则化。 保存一切的特征，可是削减参数的巨细（magnitude）

参与正则化参数

在模型h(x)=0+1×1+2×2+3×3+4x4h_theta(x算法分析的意图是)=theta_0+theta_1x_1+thet逻辑回归算法原理a_2线性回归计算三要素x_2+theta_3x_3+theta_4x_4h​(x)=0​+1​x1​+2​x2​+3​x3​+4​x4​中，首要是高次项发生的过机器学习拟合问题：

参与正则化参数后可以防止过拟合问题，其间lambd逻辑回归和线性回归的差异a是正则化参数Regularization P回归模型的决定系数ara机器学习meter ：

J()=12m∑i=1m(h(x(i))−y(i逻辑回归的原理和使用))2+∑j=1nj2J(theta)=frac{1}{2m}sum^m_{i=1}(h_{theta}(x^{(i)})-y^{(i)})^2+lambda sum^n_{j=1}theta^2_{j}J()=2m1​∑i=1m​(h​(x(算法i))−y(i))2+∑j=回归模型怎么树立1n​j2​

Attention：一般地，不对0theta_00​进行赏线性回归计算三要素罚；加上正则化参数实践上是对参数theta进行赏罚。经过正则化处理后的模型和原模型的比照：

• 假定lambda过大，一切回归模型公式的参数最小化，模型变成了h(x)=0h_t回归模型中引入虚拟变量的作用是什么heta(x)=theta_0h​(x)=0​，造成了过拟合

参数lambda的挑选

1. 运用练习集练习出多个不同程度的正则化模型
2. 用多个模型分别对穿插验证集核算的出穿插验证过错
3. 挑选得出穿插验证过错最小的模型
4. 运用过程3中选出模型对查验集核算得出推广过错

学习曲线 Learning Curves

运用学习曲线来判别某一个学习算法是否处于过错、方差问题。

学习算法的时刻复杂度取决于曲线是将练习集过错和穿插验证集过错作为练习集样本数量$m$的线性回归分析函数制作的图表

Jtrain()=12m∑i=1m(h(x(i))−y(i))2J_{train}(theta) = fra回归模型点评指标c{1}{2m}sum_{i=1}^{m}(h_{theta}(x^{(i)})-y^{(i)})^2Jtrain​()=2m1​∑i=1回归模型分析m​(h​(x(i))−y(i))2

J_{cv}{(theta)} = frac{1}机器学习{2m_{cv}}su线性回归方程例题详解m_limits{i=1}^{m}(h_{theta}(x^{(i)}_{cv})-y^逻辑回归的原理和使用{(i)}_{cv})^2

练习样本m和价值函数J的联络

从下图1中看出作用

• 样本越少，练习集过错很小，穿插验证集过错很大
• 当算法是什么样本逐步添加的时分，二者的差别逐步减小

阐明：在高过逻辑回归模型原理失、欠拟合的情况下，添加样本逻辑回归和线性回归的差异数量没作用

在高方差的情况下，添加数量可以前进算法作用

总结

1. 获得更多的练习样本——处理高方差
2. 查验削减特征的数量——处回归模型中引入虚拟变量的作用是什么理高方差
3. 查验获得更逻辑回归和线性回归的差异多的特征——处理高过错
4. 查验添加多项式特征——处理高过错
5. 查验削减正则化程度——处理高过错
6. 查验添加正则化程度算法的五个特性——处理高方差

神经网络的方差和过错

较小的神经网络，参数少，简略呈现高过错和欠拟合；

较大的神经网络，参数多，简略出逻辑回归损失函数现高方差和过拟合

一般挑选较大的神经网络并选用正则化处理会比选用较小的神经网络作用要好

查准率和查全率

猜测值
Positive	Negtive
实践值	True	TP	FN
False	FP	TN

查准率precision：实践和猜测一同为正例 / 猜测值悉数为正例 P=TPTP+FPP=frac{TP}{TP+FP}P=TP+FPTP​ 查全率recall线性回归计算三要素：实践和猜测一同为正例 / 实践值悉数为正例 R=TPTP+FNR = f线性回归方程公式详解rac{算法的有穷性是指TP}{TP+FN}R=TP+FNTP​

查全率算法工程师和程序员差异和查准线性回归方程例题详解率是一对敌对的量，一个高的话，另一个必定低，联络图如下：

查全率和查准率之间的平衡点，一般是运用F1F_1F1​系数表明 F1=2PRP+RF_1=frac{2PR}{P+R}F1​算法的有穷性是指=P+R2PR​