在前面的学习之中，咱们现已学习了很多的模型，它可以针对特定的使命，接受咱们的输入并发生方针的输出。但咱们并不满意于此，咱们甚至期望机器告知咱们，它是如何得到这个答案的，而这便是可解说的机器学习。

Why we need Explainable ML

首先咱们要明确，即使咱们训练出来的模型可以得到一个正确的输出，可是这并不代表它真正学习到了内核的规律所在，因而咱们总是期望可以知道为什么机器给出这个答案，在一些特定的场景也是如此：

  • 例如将机器学习用于医疗确诊，那咱们期望机器做出来的决议计划是有依据的
  • 将机器学习用于法律，那咱们也期望看到机器学习做出判定背后的原因，是否存在歧视问题等

而且假如咱们可以具有可解说性的机器学习，那么在模型的作用不好的时分，咱们便可以知道是哪部分呈现了问题，可直接调整处理。

而关于可解说性的机器学习，它的评价规范来说一向很难定夺，由于一个理由的可解说是因人而异的。

可解说性VSPowerful

比照一下线性模型、深度学习网络、决议计划树这三个模型的特色：

  • 线性模型的可解说性比较强，咱们可以经过各个权重和偏置来简略地了解线性模型之间各个变量的关系；可是线性模型其拟合不知道函数的才能较弱
  • 深度学习网络的才能很强大，可以完成非常多复杂的使命，可是它的可解说性比较差， 咱们很难了解其内部的意义
  • 单颗决议计划树的可解说性很强，而且决议计划森林的拟合才能也是很好的。可是假如决议计划森林中决议计划树的数目很多的话，其可解说性也一样会变差

因而并没有模型可以简略地完美处理拟合才能和可解说性的问题

Explainable ML

假定模型是依据一张图片做出其所属的分类，那么可解说性的机器学习大致可以分为两大类：

  • Local Explanation：它要答复的问题是机器为什么会觉得这张图片是归于这一类
  • Global Explanation：它要答复的问题是你觉得这一类的图片应该长什么姿态，这个类别的模型比较特殊，没有针对某张图片而是针对整个类。

Local Explanation:Explain the Decision

这个类别的模型，咱们可以把问题转换成更详细一点：是输入中的哪一个部分让机器觉得它归于这个类别呢？例如关于输入x来说可以写成多个组成部分{x1,…,xn,…,xN}\{x_1,…,x_n,…,x_N\}，例如在图片中每一个就代表一个像素，在句子中每一个就代表一个词汇等等。那么假如咱们期望找到哪个对成果影响最大的组成部分，可行的方法是逐个改动或删除组成部分，看看在改动哪一个的时分机器的输出会发生改变，例如下图的比如：

【机器学习】李宏毅——Explainable ML(可解释性的机器学习)

上面代表在每一张图片中使用一个灰色方块去不断遮挡某一部分，当遮挡到蓝色部分的时分就会发现机器无法做出正确预测。

那么还有一个更进阶的主意叫做Saliency Map，即将输入表明成一个向量{x1,…,xn,…,xN}\{x_1,…,x_n,…,x_N\}，那么该输入对应的输出与真正的输出之间就可以核算丢失Loss。那么详细的主意便是不断测验改动每一个重量的值为xn=xn+xx_n=x_n+\Delta x，那么相应的Loss也改变，因而咱们可以从Loss改换的程度来看这个变量关于成果的影响性有多大，即：

∣Lxn∣=∣∂L∂xn∣\vert \frac{\Delta L}{\Delta x_n} \vert=\vert \frac{\partial L}{\partial x_n}\vert

相当于梯度的值越大，该值关于成果的影响力就越大，该变量就越重要，如下图：

【机器学习】李宏毅——Explainable ML(可解释性的机器学习)

但这个方法也存在必定的局限性， 或者说在某些场景中体现也不是很好，例如下图的中间图片，尽管它将羚羊的大致轮廓表达了出来，可是别的区域的杂讯仍是特别的多；因而咱们可以用SmoothGrad来测验处理，得到右边的图，可以看到作用更好：

【机器学习】李宏毅——Explainable ML(可解释性的机器学习)

那么SmoothGrad的做法是为原始的图片重复屡次，每次参加随机发生的杂讯来影响每一个像素点，然后关于每一次得到的图画都画Saliency Map，最终再将其平均起来即可。

而上述的经过梯度核算然后画出对应Saliency Map的方法也存在必定的局限性，便是在梯度上发生了问题，例如下面的比如为某种生物鼻子的长度的改变所引起该生物是否是大象的概率的改变：

【机器学习】李宏毅——Explainable ML(可解释性的机器学习)

可以看到在鼻子长度较大的点处，此处由于是大象的概率现已很高了，因而其梯度很小，那咱们假如直接核算其梯度的话就会得到成果说鼻子的长度对是否是大象的概率没有影响，这显然是不符合逻辑的！

那么还有别的一个可以认识到模型各个模块相关功能的方法，详细可以用一个语音辨认的比如来解说：假定咱们当时的语音辨识模型有很多层，那咱们训练一个模型将向量转换为语音的输出，那么就可以对每一层输出的Embedding都放入这个转换为语音的模型中得到输出，咱们再听每一层对应的语音输出，就可以明确每一层对声音的处理起到了什么作用。

Global Explaination:Explain the Whole Model

关于这个类别的可解说性模型来说，它并不是告知咱们一个特定的样本长什么姿态、归于什么分类，而是依据模型内的参数来了说明为什么某一个类的样本会长这个姿态，可以简略了解为咱们要机器告知咱们它心理幻想的猫长什么姿态。

下面经过一个图画检测的比如来说明咱们关于这种问题的处理思路。

【机器学习】李宏毅——Explainable ML(可解释性的机器学习)

关于图中的每一个filter，可以看成它是对上一层所输出的图画的某一块区域的监测，假如监测到它期望得到的信息，那么它的值就会比较大。可是现在Global Explaination的使命不是针对特定样本而言，也便是说咱们没有样本来生成各层的图画。而为了知道每一层的每一个filter它想要监测什么内容，咱们可以来创造图画，即如上图所示，咱们创造一个图片对应的向量，使得它输出进入可以使得咱们当时调查的这个filter最大，即

X∗=argmaxX∑i∑jaijX^*=argmax_X \sum_i\sum_j a_{ij}

那么咱们再来观测X∗X^*对应的图画，咱们就可以知道这个filter它想检测什么样的类型了，如下图：

【机器学习】李宏毅——Explainable ML(可解释性的机器学习)

例如上图就有的filter检测横条纹、竖条纹等等等等。

那么上述的思路，咱们能否将其直接用于输出层呢？例如咱们直接让：

X∗=argmaxXyiX^*=argmax_X~y_i

也便是说咱们找一张图片，让这个图片经过机器后输出某一个类别的概率最大，那么有或许完成吗？实际上作用很差！例如在手写数字的识别比如中：

【机器学习】李宏毅——Explainable ML(可解释性的机器学习)

为什么会这样呢？这其中的解说大约可以说成：由于机器它不必定是看到某个数字的姿态才会输出对应的类别，它或许真的没有学习到这个规律，仅仅学习到从一堆杂讯中寻找到它认为是某个类别的信息。那么假如真的要用这个方法，需要依据咱们关于图画的深层次了解加上一大堆的假定，而且好好调整参数才或许得到，如下图：

【机器学习】李宏毅——Explainable ML(可解释性的机器学习)

那么为了避开上述这么多的约束呢，咱们还有一个方法便是引入生成器来帮助。即咱们假定现已经过很多的图片训练完成了一个生成器（用GAN、VAE等），然后咱们将生成器接到原分类模型之前，即：

【机器学习】李宏毅——Explainable ML(可解释性的机器学习)

那现在咱们的方针就转换成：

z∗=argmaxzyiz^*=argmax_z ~y_i

即找到一个z的向量，生成图片之后可以使得y对该图片的分类的决心分数最大。那么咱们要得到可解说性的东西，就再将向量z∗z^*转换成图片即可，即：

X∗=G(z∗)X^*=G(z^*)

这样得到的作用或许是很好的。