作者: Tim Dettmers
原文: timdettmers.com/2015/03/26/…
译者: kwii
卷积是深度学习中最重要的概念。正是靠着卷积和卷积网络,才将深产品设计度学习推上了几乎所有机器学习任务的前沿。但为何卷积如此强大?它是如何工作的?像素冒险世界在本篇博客中,我将解释卷积以及其他相关联的概念,帮助你深刻的理解卷积。
在网络上,已经有了许多介绍卷积的博客,但我发现它们都充斥着不必要的数学细节,无矩阵法从一个有意义的方式加深对卷积的理解。虽然本篇博客也将有许多数学细节,但我将使用图片来展产品经理示底层的数学原理,确保矩阵每个人都能理解。博客的第一部分卷积运算是关于卷积和深度学习中卷积网络的总体概述。博客的第二部分包含一些高级概念,旨在帮助深度学习研究者和专家加深卷积的理解。
Part Ⅰ:什么是卷积?
虽然整篇博客都是围绕着这个问题构建的,但提前了解大致方向会非常有帮助,所以,粗略来讲,什么是卷积呢?
你可以把卷积想象成信息的混合。想象两个充满信息的桶(bucket),其中一个桶被倾倒如另产品运营外一个桶,然后将它们以特定的规则混合到一起。每个桶的信息都有它自己的处方(recipe),它描述了一个桶的信息是如何于另神经网络的训练过程一个桶的信息混合的。所以,卷积是两种信息源相交的有序过程。
卷像素生存者2积也可以使用数学描述,事实上,它是一种类似于加减乘除的数学运算,矩阵的迹虽然这种运算zho本身很复杂,但它有助于简化更复杂像素勇士大创造攻略的方程。在物理和工程领域,卷积被广泛用于简化复杂方程。在第二部分中,在一个简像素冒险世界短卷积的数学推导后,我们将关联并整合在科学领域和深度学习中的卷积概念,像素地牢以获得对卷积更深的理解。但是现在,我们先从一个实用的角度产品生命周期看看卷积。
我们如何在图像中进行卷积操作?
当我们在图像中进行卷积操作时(二维卷积),我们将在图像的宽度和高度两个维度进行卷积神经网络是什么。我们混合了两桶信息:第一桶是输入图像像素地牢,它总共有三个像素矩阵,即RGB三通道矩阵。第二桶信息是卷积核(kernel),是一个浮点数矩阵,矩阵的大小产品营销策略和模式(patte像素冒险世界rn)可以被认为是卷积神经网络一种指示如何让输入图像和卷积核进行卷积操作的方案。在深度学习中,卷积核的输出被称为特征矩阵(feature map),它是一个经过卷卷积神经网络的工作原理积操作后的图像。对于一张RGB表示的图片,每一种颜色通道都有一个特征矩阵。
现在,我们将演示两个信息通过卷积矩阵的乘法运算操作相交的过程。其中一种进行卷积操作的方法是拿出输入图像中和神经网络控制卷积核大小相同的一小块,比如现在有一个100×100的输入图像,一个3×3的卷积核,所以我们就会从输入图像中拿出3×3的一小块,然后我们将图像的一小块和卷积核进行逐项相像素画生成器乘(element-wise multiplication)。相乘的和就代表特征矩阵上的一个像素矩阵游戏。在计算出相乘结果之后,想另一个方向滑动图像小块提取器的中心一个像素,重复计算过程。当特卷积运算征矩阵上所有的像素都被计算出来后,卷积神经网络英文操作就结束了。矩阵
为什么在机器学习中图像卷积有用?
在图像中会有很多干扰信息,它们和我们需要达成的目标无关(比如图像分类)。一个好的例子是,有一个矩阵转置我和 Jannek Tohmas 在 Burda 训练营神经网络一起做的项目。 Burda 训练营是一个快速原型实验室,在一种黑客马拉卷积神经网络的工作原理松风格的环境下,在非常短的时间内创造出技术性产品。和我的九名神经网络预测同事一起,我们在两个月的时间里创造了十一种产品。矩阵转置在一个项目中,我想使用深度自编码器(autoencoder)一个时尚服饰图片搜索器:你可以上传一张时尚服饰的图片,自编码器就会找到相同款式的衣服。
现在如果你想区分不同款式的衣服,衣服的颜色就不会那么有用;其他细节像品牌的标志也不重要。最重要的可能是衣服的形状产品运营。通常来说,女像素射击下载士衬衣的形状和男士衬衣、夹克和裤子完全不同。所以如果我们可以过滤图像种不必要的信息,那么我们的算法就不会被不必要的细节,比如颜色和品牌标志所干扰。我们可以通过图像卷积轻易实现过滤的操作神经网络引擎。
我的同事 Jannek Thomas 预处理了数据,并使用了 Sobel 边缘检测器(和卷积核类似)来保留像素画物体形状的轮廓信息。这也是为什么卷积操作经常被叫做滤波(filtering),卷积核被叫做过滤器(filter)。如果你想区分不同类神经网络引擎型的衣服,从边缘检测器得到的产品营销策略特征矩阵会非常有用,原文只有相关形状的信息被保留了。
更进一步:有许多像素冒险世界不同的卷积核,它们可以产生不同的特征矩阵,比如锐化图像(更多矩阵和行列式的区别的细节),模糊图像(更少的细节),每个特征图都会帮助我们的算法在它的特定任务中做的更好。
接收输入,转换输入,将转换矩阵的乘法运算后的输入产品设计喂给(feed)一个算法,这种卷积核过程叫做特征工程。特征工程是非常难的,几乎没有任像素射击何资源来帮助你学习这项技能。所以,只有很少的人能够将特征工程熟练的应用在不同的任务中。特征工程是矩阵的迹一种纯手工的,也是在 Kagg矩阵的逆le 比赛中获得较好分数最重要的技能。特征工程是如此的难,因为每一种数据核每一种问题,好的特征是不同的:图像任务中的只矩阵的迹是在时序数据中没有;即使我们有两个相似的图像任务,提取好的特征也是不容易的,因为图像中的物体会决定哪些特征有效,哪些无效。这会非常依赖经验。
所卷积云以,特征工程是非常难得,对于每一种新的任务,你必须从头开始。但是当我们看图片时,有没有自动寻找适合某一项新任务的卷积核的方法呢?
进入卷积网络矩阵的秩
卷积网络正是一种自动寻找卷积核的方法。不同于在我们的核中分配固定的数字,我们分配参数给这些核,参数将在数据上得到训练。随着我们训练卷积网络,卷积核在过滤相关信息的表现上会越来越好。这个过程是全自动的,叫做特征学习。特征学习将自动生成适合每一像素工厂种任务的卷积核:我们只需要简单的训练我们的网络来找能提取相关信息的过滤产品设计专业。这就是为什么卷积网络如此强大 —— 没有特征工程的困难了!
通常在卷积网络中,我们不会只学习一个卷积核的参数,而是同时学习多个卷积核的参数,它们以一种层次结构堆卷积积分叠起来。举例来说,一个32x16x16的卷积核(CxHxW)应用在一个256×2像素射击下载56的图像中,将产生32个大小为241×241的特征矩阵(fea像素射击下载ture map)(这是没有加padding的标准卷积方式)。所以,我们神经网络的基本原理会自动地学习32个与我们产品批号是生产日期吗任务相关的新特征。 这些特征还可以作为下一个卷积神经网络英文核的输入,一旦我们学习到我们的层级特征,我们简单的将它们传递给全连接层,简单的神经网络将组合它们并将输入图像分类。这就是所有需要在概像素勇士大创造攻略念层面了解卷积网络的像素知识(池化过程(pooling/subsampling)也很重要,我们会在另一篇博客中介绍)。
Part Ⅱ:高级概念
这部分的内容很酷,有时间就翻译。