继续创造，加快生长！这是我参与「日新计划 6 月更文挑战」的第16天，点击检查活动详情

• 作者：韩信子@ShowMeAI
• 教程地址：www.showmeai.tech/tutorial数据分析软件s/3…
• 本文地址：www.showmeai.tech/article-det…
• 声明：版权矩阵乘法运算公式大全一切，转载请联络渠道与作者并注明出处
• 收藏ShowMeAI检查更多精彩内容

---

本系列为 斯坦福CS2可视化大屏31n 《深度学习与核算机视觉(Deep Learning for Comp可视化图表uter Vision)》的全套学习笔记，对应的课程视频能够在 这儿 检矩阵乘法公式查。更多材料获取办法见文末。

---

前语

深度可视化技能是深度学习中一个仍苹果12处于探索阶段的学术研讨热门，它能够帮助咱们更直观地了解模型做的工作。

以核算机视觉为例，CNN 中有着数以千计的卷积滤波器。深度神经网络中不同数据分析报告的滤波器会从输入图画中提取不同特征表明。

己有的研讨表明低层的卷积核提取了图画的初级语义特性（如边缘、角点），高层的卷积滤波器提取了图画的高层语义特性卷积运算（如图画类别）。

可是，因为深度神经网络会以逐层复合的办法从输可视化音乐软件入数据中提取特征，咱们依然无法像Sobel算子提取的图画边缘成果图相同直观地调查到深苹果手机怎么录屏度神经网络中的卷积滤波器从输入图画中提取到数据分析师工作内容的特征表明。

本篇内容ShowM可视化图表eAI和大家来看矩阵乘法运算规则看对模型的了解，包括CNN 可视化与了解的办法，也包括一些风趣的运用如D矩阵乘法结合律ee卷积核pDream、图画神经风格搬迁等。

本篇关键

• 特征/滤波器可视化
• DeepDream
• 图画神经风格搬迁苹果13

1.特征可视化

咱们在之前的课程里看到CNN的各种运用，在核算机视觉各项任务中发挥很大的作用，但咱们一直把它作为黑盒运用，本节内容咱们先来看看特征可视化，主要针对一些核心问题：

• CNN工作原理是什么样的
• CNN的中心层次都在寻觅匹配哪些内容
• 咱们对模型了解和可视数据分析化有哪些办法

1.1 第一个卷积层

1) 可视化卷积核

第一个卷积层相比照较简单，能够把第一层的一切卷积核可视化来描述卷苹果x积层在原始图画匹配和重视什么。

可视化卷积核的背后原理是，卷积便是卷积核与图画区域做内积的成果，当图画上的区域和卷积核很类似时，卷积成果就会最大苹果8化卷积云。咱们对卷积核可视化来调查卷积层在图画上匹配寻觅什么。

常见的CNN架构第一层卷积核如下：

从图中能够看到，不同网络的第一层似乎都在匹配有向边和颜色，这和动卷积层物视觉系统开始部分安排的功能很接近。

1.2 中心层

第二个卷积层就相对杂乱一些，不是矩阵乘法分配律很好调查了。

第一个卷积层卷积公式表大全运用 $16$ 个 $773$ 的卷积核，第二层运用 $20$ 个 77167 times 7 time苹果8s 16771卷积核6 的卷积核。因为第二层的数据深度变成 $16$ 维，不能直接可视化。一种处理办法是对每个卷积核画出 $16$ 个 $77$ 的灰度图，一共画 $20$ 组。

可是第二层卷积不好图片直接相连，卷积核可视化后并不能直接调查到有明晰物理含义的信息。

1) 可视化激活图

与可视化卷积核比较，将激活图可视化更有调查含义。

比方可视化 AlexNet 的第五个卷积层的 $128$ 个 $1313$ 的特征图，输入一张人脸照片，画出 Conv5 的 128128128矩阵乘法运算公式大全 个特征灰度图，发现其中有激活图似乎在寻觅人脸（不过大部分都是噪声）。

2) Maximally Activating Patches卷积公式表大全（最大激活区块）

可视化输入图片数据分析培训中什么类型的小块能够最大程度的激活不同的神经元。

• 比方选择 AlexNet 的 Conv5 里的第 $17$ 个激活图（共 $128$ 个），然后输入许多的图片经过网可视化编程络，而且记载它们在 Conv5 第 $17$ 个激活图的值。
• 这个特征图上部分值会被输入图片集最大激活，因为每个神经元的感矩阵乘法分配律受野有限，咱们能够画出这些被最大激活的神经元对应在原卷积公式表大全始输入图片的小块，经过苹果这些小块调查不同的神经元在寻觅哪些信息。

如下图所示，每一行都是某个神经元被最大激活对应的图片块，能够看到：

• 有的神经元在寻觅类似眼睛的东西
• 有的在苹果13寻觅曲折的曲线等

假如不运用 Conv5 的激活图矩阵乘法计算器，而是更后边的卷积层，因为卷积核视界的扩展，寻觅矩阵乘法怎么算的特征也会愈加杂乱，比方人脸、相机等，对应图中的下面部分。

1.3卷积神经网络 倒数第二个全衔接层

1) 最附近

关于最近邻算法的详细知识也能够参阅ShowMeAI的下数据分析师资格证书述文章

• 图解机器学习教程 中的文章详解 [KNN算法及其运用可视化管理](www.showmeai.tech/a可视化工具rticle-det…)
• 深度学习与核算机视觉教程：斯坦福CS231n 全套笔记解读中的文章图画分类可视化音乐软件与机器学数据分析方法习根底

另一个有价值的调查对象是输入到终究一层用于分类的全衔接层的图片向量，比方 AlexNet 每张图片会可视化得到一个 $4096$ 维的向量。

运用一些图片来收集这些特征向苹果官网量，然后在特征向量空间上运用最附近的办法找出和测企图片最类似的图片。作为比照，是找出在原像素上最接近的图片。卷积神经网络的工作原理

能够看到，在特征向量空间中，即使原像素差距很大，但却能匹配到实际很类似的图片。

比方大象站在左边和站在右侧在特征空间是很类似的。

2) 降卷积神经网络的工作原理维

关于PCA降维算法的详细知识也能够参阅ShowMeAI的下述文章

• 图解机器学习教程 中的文章详解 降维算法详解

另一个调查的角度是将 $4096$ 维的向量压缩到二维平面的点，办法有PCA，还有更杂乱的非线性降维算法比数据分析师工作内容方 t-SNE（t-distri苹果官网buted stochastic neighbors embeddings，t-分布邻域嵌入）。咱们把手写数字 0-9 的图片经过CNN提取特征降矩阵乘法的条件到2维画出后，发现都是按数字簇分布的，分红10簇。如下图所示：

相同能够把这个办法用到 AlexNet 的 $4096$ 维特征向量降维中。

咱们输入一些图片，得到它们的 $4096$ 维特征向矩阵乘法怎么算量，数据分析师高薪骗局然后运用 t-SNE可视化管理 降到二维，画出这些二维点的网格坐标，然后把这些坐标对应的原苹果范冰冰始图片放在这个网格里。

假如大家做这个试验，能够调查到类似内容的图片聚集在了一同，比方左下角都可视化音乐软件是一些花草，右上角聚集了蓝色的天空。

1.4 哪些像素对分类起作用？

1) 遮挡试验（Oc可视化图表clusion Experiments）

有一些可视化工具办法能够断定原始图片的哪些方位（像素）对终究的成果起作用了，比方遮挡试验（Occlusion Experimen卷积公式表大全ts）是一种办法。

它在图片输入网络前，遮挡图片的部分区域，然卷积核后数据分析观念调查对可视化是什么意思预测概率的影响，能够想象得到，假如遮盖住核心部分内容，将会导致预可视化数据图表测概率明显降低。

如下图所示，是遮挡大象的不同方位，对「大象」类别预测成果的影响。

2) 明显图（Saliency Ma矩阵乘法公式p）

除了前面介绍到的遮挡法，咱们还有明显图（Saliency Map）办法，它从另一个角度来处理这个问题。

明显图（Saliency Map）办法是核算分类得分相关于图画像素的梯度，这将告知咱们在一阶近似含义上关可视化于输入图片的每个像素假如咱们进行小小的扰动，那么相应分类的分值会有多大的改动。

能够在下图看到，基本上找出了小可视化狗的轮廓。

进行语义分数据分析师工作内容割的时分也能够运用明显图的办法，能够在没有任何标签的情况下能够运用明显图进行语义分割。

3) 引导式反向传达

不像明显图那样运用分类得分对图片上的像素求导，而是运用卷积网络某一层的一个特定神经元的值对像素求导，这样就能够调查图画上的像素对特定神经元的影响。

可是这儿的反向传达是引导式的，即 ReLU 函数的反向传达时，只回传大于 $0$ 的梯度，详细如下图所示。这样的做法有点古怪，可是作用很好，图画很明晰。

咱们把引导式反向传达核算的梯度可视化和最大激活块进行比照，发现这两者的体现很类似。

下图左边是最大激活块，每一行代表一个神经元，右侧是该神经元核算得到的对原始像素的引导式反向传达梯度。

下图的第一行能够看到，最大激活该神经元的图画块都是一些圆形的区域，这表明该神经元可能在寻觅蓝色圆形状物体，下图右侧能够看到圆形区域的像素会影响的神经元的可视化管理值。

4) 梯度上升（Gradient Ascent）

引导式反矩阵乘法计算器向传达会寻觅与神经元联络在一同的图画区域，另一种办法是梯度上升，组成一张使神经元最大激活或分类值最矩阵乘法结合律大的图片。

咱们在练习神经网络时用梯度下降来使丢失最小，现在咱们要修正练习的卷积神经网络的权值，而且在图画的像素卷积神经网络上履行梯度上升来组成图画，即最大化某些中心神将元和类的分值来改动像素值。

梯度上升的详细进程为：输入一张卷积云一切像素为0或者高斯分布的初数据分析师证书始图片，练习进程中，神经网络的权重坚持不变，核算神经元的值或这个类的分值相关于像素的梯度，运用梯度上升改动一些图画的像素使这个分值最大化。

同时，咱们还会用苹果8正则项来阻止咱们生成的图画过拟合。

总之，生成图画具备两个属性：

• ① 使最大程度地激活卷积神经网络的工作原理分类得分或神经元的值
• ② 使咱们期望这个生成的图画看起数据分析师来是天然的。

正则项强制生成可视化音乐的图画看起来是天然的图画，比方运用 L2 正则来约束苹果官网像素卷积神经网络，针对分类得分生成的图片如下所示：

也能够运用一些其他数据分析办法来优化正则，比方：

• 对生成的图画进行高斯含糊处理
• 去除像素值特别小或梯度值特别小的值

上述办法会使生成的图画更明晰。

也能够针对某个神数据分析报告经元进行梯可视化音乐软件度上升，层数越高，生成的结构越杂乱。

添加多模态（multi-faceted）可视化能够供可视化分析给更好的成果（加上更仔细的正则化，中心偏差矩阵乘法运算公式大全）。经过优化 FC6 的特征而不是原始像素，会得到愈加天然的图画。

一个风趣的试验是「捉弄网络」：

输入一张恣意图画，比方大象，给它选择恣数据分析方法意的分类，比方考拉，现在就经过梯度上升改动原始图画使考拉的得分变得最大，这样网络以为这是考拉今后调查修改后的图画，矩阵乘法例题详解咱们肉眼去看和本来的大象没什么差异，并没有被改动成考拉，但网络现已识别数据分析观念为考拉（图片在人眼看起来还是大象，可是网络分类现已把它分红考拉了）。

2.DeepDream

DeepDream是一个风趣的AI运用试验，依然利用梯度上升的原理，不再是经过最大化神经元激活来组成图数据分析软件片，而是直接扩数据分析报告大某些层的神经元激活特征。

进程如下：

• ① 首要选择一张输苹果官网入的图画，经过神经网络运行到某一层
• ② 接着进行反向传达而且设置该层的梯度等于激活值，然后反向传达到图画而且不断更新图画卷积。

关于以上进程的解说：企图扩大神经网络在这张图画中检测到的特征苹果x，不管那一层上存在什么样的特征，现在咱们设置梯度等于特征值，以使神经网络苹果手机扩大它在图画中所检测到的特征。

下图：输入一张天空的图片，能够把数据分析培训网络中学到的特征在原图画上生成：

代码完成能矩阵乘法满足结合律吗够参阅google官方完成 gith苹果手机怎么录屏ub.com/google/deep…

3.图画神经风格搬迁

关于图画神经网络风卷积积分格搬迁的解说也能够参阅ShowMeAI的下述文章

• 深度学习教程 | 吴恩达专项课程 全套笔记卷积运算解读 中的文章 CNN运用: 人脸识别和神经风格转换

3.1 特征反演（Feature Inversion）

咱们有一苹果范冰冰个检查不同层的特征向量能保存多少原始的图片信息的办法，叫做「特征反演」。

详细主苹果因不送充电器被判赔7000元意是：任选1张图卷积核片，前向传达到现已练习好的 CNN，选取其在 CNN 某一层发生的特征向量，保存这个向量。咱们期望生成1张图片，尽量让它在该层发生相同的特征向量。

咱们依旧运用梯度上升办法来结束，这个任务的方针函数定义为「矩阵乘法的条件最小化生成图片的特征向量与给定特征向量的L2距离」，当然咱们会加一些正则化项保证生成图片的滑润，总体如下图所示：

经过这个办法，咱们能够看到苹果12不同层的特征向量矩阵乘法分配律所包括的信息完整度，如下图所示：

解说数据分析师解说：

• 在 relu2_2 层，能够依据特征向量可视化编程几乎无损地恢复出原图片；
• 从 ReLU4_3 Re数据分析软件LU矩阵乘法运算规则5_1 重构图画时，能够看到图画的一般空间结构被保存了下来，仍能够分辨出大象，苹果和香蕉，可是许多低层次的细节并比方纹路、颜色在神经网路的较高层更容易丢失。

3.2 纹路生成（Te矩阵乘法例题详解xture Synthesis）

下面咱们聊到的是「纹路生成」，针对这个问题，传统的办法有「近邻法」：依据现已生成的像素检查当前像素周围的邻域，并在输入图画的图画块中核算近邻，然后从输入图画中仿制像素。可是这类办法在面临杂乱纹路时处理得并不好。

1) 格莱姆矩阵（Gram Matrix）

格莱姆矩阵核算办法：

纹路生成的神经网络做法会涉及到格莱姆矩阵（Gram Matrix），咱们来介绍一下它，咱们矩阵乘法怎么算先看看格莱姆矩阵怎样得到：

① 将一可视化图表张图片传入一个现已练习好的 CNN，选定其中一层数据分析软件激活，其大小是 $CHW$，能够看做是 $HW$ 个 $C$ 维向量。

② 从这个激活图中恣意选取两个C维向量，做矩阵乘法能够得到一个 $CC$ 的矩阵。然后对激活图中恣意两个 $C$ 维向量的组合，都能够求出这样一个矩阵。把这些矩阵求和并平均，就得到 Gram Matrix。

格莱姆矩阵含义：

格莱姆矩阵告知咱们两个点矩阵乘法结合律代表的不同特征的同现联系，矩阵中方位索引为 $ij$ 的元素值非常大，这意味着这两个输入向量的方位索引为 $i$ 和 $j$ 的元素值非常大。

格莱姆矩阵捕获了一些二阶可视化工具统计量，即“映射特征图中的哪些特征倾向于在空间的不同方位一同激活”。

格莱姆矩阵其实是特征之间的偏疼协方差矩阵（即没有减去均值的协方差矩阵）。其核算了每个通道特征之间的相关性，体现的是哪些特征此消彼长，哪些特征同时出现。

咱们能够以为格莱姆矩阵度量了图片中的纹路特性，而且不包括图画的结构信息，因为咱们对图画中的每一点所对应的特征向量取平均值，它仅仅捕获特征间的二阶同现统计量，这终究是一个很好的纹路描述符。

事实上，运用协方差矩阵替代格莱姆矩阵也能取得很好的作用可视化，可是格莱姆矩阵有更高效的核算办苹果13法：

• 将激活图张量 CHWC t卷积积分imes H times WCHW卷积的物理意义 展开成 $CHW$ 的形式，然后将其乘以其转置。

2) 神经纹路生成（Neural数据分析 Textur卷积积分e S数据分析师ynthesis苹果因不送充电器被判赔7000元）

当咱们有了格莱姆矩阵这一度量图画纹路特性的工具后，就能够运用类似于梯度上升算法来发生特卷积云定纹路的图画。

算法流程如下图所示：

纹路生成进程：

• ① 首要把含有纹路的图画输入到数据分析方法一个预练习苹果7网络中（例如VGG），记载其每一层的激活图并核算每一层的格莱矩阵乘法结合律姆矩阵。
• ② 接着随机初始化一张要生成的新的图画，相同把这张初始化图画经过预练习网络而且核算每一层的 gram 矩阵。
• ③ 然后核算输入图画纹路矩阵和生成图画纹路矩阵之间的加权 L2 丢失，进行反向传达，并核算相关于生成图画可视化工具的像素的梯度。
• ④ 终究依据梯度上升一点点更新图画的像素，不断重复这个进程，即核算两个格莱姆矩阵的 L2 范数丢失和反向传达图画梯度，终究矩阵乘法分配律会生成与纹路图画相匹配的纹路图画。

生成的纹路作用如下图所示：

上图阐明，假如以更高层格莱姆矩阵的 L2 距离作为丢失函数，那么生成图画就会更好地重建图画的纹路结构（这是因为更高层的神经元具有更大的感受野）。

3.3 图画神经风格搬迁（矩阵乘法公式Styl可视化工具e Transfer）

假如咱们结合苹果手机怎么录屏特征反演和纹路生成，能够完成非常热门的一个网络运用「图画神经风格搬迁（Styl可视化编程e Transfer）」。它能依据指定的1张内容图片和1张风格图片，兼并生成具有类似内容和风格的组成图。

详细的做法是：准备两张图画，一张图画称为内容图画，需求引导咱们生成图画的主题；另一张图画称为风格图画，生成图画需求重建它的纹路结构。然后共同做特征识别，最小化内容图画的特征重构丢失，以及风格图画的格莱姆矩阵丢失。

运用下卷积积分面的结构结束这个任务：

上图所示的结构中，运用随机噪声初始化生成图画，同时优化特征反演和纹路生成的丢失函数（生成图画与内容图画激活特征向量的 L2 距离以及与风格图画 gram 矩阵的 L2 距离的加权和），核算图画上的像素梯度，重复这些进程，运用梯度上升对生成图画调整。

迭代结束后咱们会得到风格搬迁后的图画：它既数据分析师证书有内容图画的空间结构，又有风格图画的纹路结构。

因为网络总丢失是「特征反演」和「纹路生成」的两部分丢失的加权和，咱们调整丢矩阵乘法计算器失中两者的权重能够得到不同倾向的输出，如下图所示：

也能够改动风格图画的尺度：

咱们乃至能够可视化数据图表运用不同风格的格卷积公式莱姆矩阵的加权和，来生成多风格矩阵乘法图：

代码完卷积层成能够参阅这儿：github.com/jcjohns卷积公式表大全on/n…

3.4 快速图画风格搬迁（Fast style Transfer）

上面的风格搬迁结构，每生成一张新的图画都需求迭代数苹果8次，核算量非常大。因此有研讨提出了下面的 Fast style Transfer 的结构：

快速图画风格搬迁办法，数据分析会在一开始练习好想要搬迁的风格，得到一个能够输入内容图画的网络，直接前向运数据分析报告算，终究输出风格搬迁后的成果。

练习前馈神经网络的办法是在练习期间核算相同内容图画和风格图画的丢失，然后运用相同梯度来更新矩阵乘法运算规则前馈神经网络的权重，一旦练习结束，只需在练习好的网络上进行一次前向传达。

代码完成能够参阅这儿：github.com/j卷积神经网络的工作原理cjohnson/f…

4.拓宽学习

能够点击 B站 检查视频的【双语卷积的物理意义字幕】版本

• 【课程学习攻略】斯坦福CS231n | 深度学习与核算机视觉
• 【字幕+材料下载】斯坦福CS231n | 深度学习与核算机视觉 (2017全16讲)
• 【CS2卷积层31n进阶课】密歇根EECS498 | 深度学习矩阵乘法例题详解与核算机视觉
• 【深度学苹果官网习教程】吴恩达专项课程 全套笔记解读
• 【Stanford官网】CS231n: Deep Learning f数据分析师or Computer Vision

5.参阅材料

• CNN可视化/可解说性
• 万字长文概览深度学习的可解说性研讨

6.关键总结

• 了解CNN：
  • 激活值：在激活值的根底上了解这些神经苹果元在寻觅什么特征，办法有最附近、降维、最大化图画块、遮挡；
• 梯度矩阵乘法满足结合律吗：运用梯度上升组成新图画来可视化音乐软件了解特征的含义，比方明显图、类可视化、捉弄图画、特苹果12征反演。
• 风格搬迁：特征反演+纹路生可视化音乐成。

ShowMeAI 斯坦福 CS231n 全套解读

• 深度学习与核算可视化分析机视觉教程(1) | CV引言与根底 @CS231n
• 深度学习可视化是什么意思与核算机视觉教程(2) | 图画分类与机器学习根底 @CS231n
• 深度学习与核算机视觉教程(3) | 丢失函数与最优化 @CS231n
• 深度学习与核算机视觉教程(4) | 神经网络与反向传达 @CS231n
• 深度学习与核算机视觉教程(5)矩阵乘法运算规则 | 卷积神经网数据分析师络 @CS2卷积的物理意义31n
• 深度学习与核算机视觉教程(6) | 神经网络练习技巧 (上) @CS231n
• 深度学习与核算机视觉教程(7) | 神经网络练习技巧 (下) @CS231n
• 深度学习与核算机视苹果8觉教程(8)可视化大屏 | 常见深度学习结构介绍 @CS231n
• 深度学习与核算机视觉教程(9) | 典型CNN架构 (Alexnet, VGG卷积的物理意义, Googlenet, Restnet等) @CS231n
• 深度学习与核算数据分析师高薪骗局机视觉教程(10) | 轻量化CNN架构 (SqueezeNet, ShuffleNet, MobileNet等) @CS231n
• 深度学习与核算机视卷积觉教程(11) | 循环神经网络及视觉运用 @CS231n
• 深度学习与核算机视觉教程(12) | 方针检测 (两阶段, R-CNN系列) @CS231n
• 深度学习与核可视化数据图表算机视觉教程(1数据分析观念3) | 方针检测 (SSD, YOLO系列) @CS2卷积运算31n
• 深度学习与核算机视觉教程(14) | 图画数据分析报告分割 (FCN, SegNet, U-Net, PSPNet, DeepLab, RefineNet) @CS2苹果因不送充电器被判赔7000元31n
• 深度学习与核算机视觉教程(15) | 视觉模型可视化与可解说性 @CS231n
• 深度学习与核算机视觉教程(16) | 生成模型 (PixelRNN, PixelCNN, VAE, GA卷积N) @CS231n
• 深度数据分析师工作内容学习与核算机视觉教程(17) | 深度强化学习 (马尔可夫决策进程, Q-Learning, DQN可视化分析) @CS231n
• 深度学习与核算机视觉教程(18) | 深度强化学习 (梯度策略, Actor-Crit卷积公式ic, DDPG, A3C) @CS231n

Show苹果13MeAI 系列教程推数据分析软件荐

• 大厂技能完成：推荐与广告核算处理方案
• 大厂技能完成：核算机视觉处理方案
• 大厂技能完成：天然语言处理职业处理方案
• 图解P矩阵乘法计算器ython编程：从入门到通晓系列教程
• 图解数据剖析：从入门到通晓系列教程
• 图解AI数矩阵乘法例题详解学根底：从入门到通晓系列教程
• 图解苹果x大数据技能：从入门到通晓系列教程
• 图解机器学习算法：从入可视化分析门到通晓系列教程
• 机器学习实战：手把手教你玩转机器学习系列
• 深度学习教程：吴恩达专项课程 全套笔记解读
• 天然语言处理教程：斯坦福CS224n课程 课程带学与全套笔记解读
• 深度学习与核算机视觉教程：斯坦福CS231n 全套笔记解读