深度学习（71）
RCNN（30）
原文地址：
作者：hjimce
一、背景意义
本篇博文主要讲解2015年领域，非常值得学习的一篇文献：《Batch
Normalization: Accelerating Deep Network Training by &Reducing Internal Covariate Shift》，这个目前已经被大量的应用，最新的文献算法很多都会引用这个算法，进行网络训练，可见其强大之处非同一般啊。
近年来深度学习捷报连连、声名鹊起，随机梯度下架成了训练深度网络的主流方法。尽管随机梯度下降法对于训练深度网络简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化、权重衰减系数、Drop out比例等。这些参数的选择对训练结果至关重要，以至于我们很多时间都浪费在这些的调参上。那么学完这篇文献之后，你可以不需要那么刻意的慢慢调整参数。BN算法（Batch Normalization）其强大之处如下：
(1)你可以选择比较大的初始学习率，让你的训练速度飙涨。以前还需要慢慢调整学习率，甚至在网络训练到一半的时候，还需要想着学习率进一步调小的比例选择多少比较合适，现在我们可以采用初始很大的学习率，然后学习率的衰减速度也很大，因为这个算法收敛很快。当然这个算法即使你选择了较小的学习率，也比以前的收敛速度快，因为它具有快速训练收敛的特性；
(2)你再也不用去理会过拟合中drop out、L2正则项参数的选择问题，采用BN算法后，你可以移除这两项了参数，或者可以选择更小的L2正则约束参数了，因为BN具有提高网络泛化能力的特性；
(3)再也不需要使用使用局部响应归一化层了（局部响应归一化是Alexnet网络用到的方法，搞视觉的估计比较熟悉），因为BN本身就是一个归一化网络层；
(4)可以把训练数据彻底打乱（防止每批训练的时候，某一个样本都经常被挑选到，文献说这个可以提高1%的精度，这句话我也是百思不得其解啊）。
开始讲解算法前，先来思考一个问题：我们知道在神经网络训练开始前，都要对输入数据做一个归一化处理，那么具体为什么需要归一化呢？归一化后有什么好处呢？原因在于神经网络学习过程本质就是为了学习数据分布，一旦训练数据与数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch
梯度下降)，那么网络就要在每次迭代都去学习适应不同的分布，这样将会大大降低网络的训练速度，这也正是为什么我们需要对数据都要做一个归一化预处理的原因。
对于深度网络的训练是一个复杂的过程，只要网络的前面几层发生微小的改变，那么后面几层就会被累积放大下去。一旦网络某一层的输入数据的分布发生改变，那么这一层网络就需要去适应学习这个新的数据分布，所以如果训练过程中，训练数据的分布一直在发生变化，那么将会影响网络的训练速度。
我们知道网络一旦train起来，那么参数就要发生更新，除了输入层的数据外(因为输入层数据，我们已经人为的为每个样本归一化)，后面网络每一层的输入数据分布是一直在发生变化的，因为在训练的时候，前面层训练参数的更新将导致后面层输入数据分布的变化。以网络第二层为例：网络的第二层输入，是由第一层的参数和input计算得到的，而第一层的参数在整个训练过程中一直在变化，因此必然会引起后面每一层输入数据分布的改变。我们把网络中间层在训练过程中，数据分布的改变称之为：“Internal
&Covariate&Shift”。Paper所提出的算法，就是要解决在训练过程中，中间层数据分布发生改变的情况，于是就有了Batch&&Normalization，这个牛逼算法的诞生。
二、初识BN(Batch&&Normalization)
就像激活函数层、卷积层、全连接层、池化层一样，BN(Batch Normalization)也属于网络的一层。在前面我们提到网络除了输出层外，其它层因为低层网络在训练的时候更新了参数，而引起后面层输入数据分布的变化。这个时候我们可能就会想，如果在每一层输入的时候，再加个预处理操作那该有多好啊，比如网络第三层输入数据X3(X3表示网络第三层的输入数据)把它归一化至：均值0、方差为1，然后再输入第三层计算，这样我们就可以解决前面所提到的“Internal&Covariate&Shift”的问题了。
而事实上，paper的算法本质原理就是这样：在网络的每一层输入的时候，又插入了一个归一化层，也就是先做一个归一化处理，然后再进入网络的下一层。不过文献归一化层，可不像我们想象的那么简单，它是一个可学习、有参数的网络层。既然说到数据预处理，下面就先来复习一下最强的预处理方法：白化。
2、预处理操作选择
说到神经网络输入数据预处理，最好的算法莫过于白化预处理。然而白化计算量太大了，很不划算，还有就是白化不是处处可微的，所以在深度学习中，其实很少用到白化。经过白化预处理后，数据满足条件：a、特征之间的相关性降低，这个就相当于pca；b、数据均值、标准差归一化，也就是使得每一维特征均值为0，标准差为1。如果数据特征维数比较大，要进行PCA，也就是实现白化的第1个要求，是需要计算特征向量，计算量非常大，于是为了简化计算，作者忽略了第1个要求，仅仅使用了下面的公式进行预处理，也就是近似白化预处理：
公式简单粗糙，但是依旧很牛逼。因此后面我们也将用这个公式，对某一个层网络的输入数据做一个归一化处理。需要注意的是，我们训练过程中采用batch 随机梯度下降，上面的E(xk)指的是每一批训练数据神经元xk的平均值；然后分母就是每一批数据神经元xk激活度的一个标准差了。
三、BN算法实现
1、BN算法概述
经过前面简单介绍，这个时候可能我们会想当然的以为：好像很简单的样子，不就是在网络中间层数据做一个归一化处理嘛，这么简单的想法，为什么之前没人用呢？然而其实实现起来并不是那么简单的。其实如果是仅仅使用上面的归一化公式，对网络某一层A的输出数据做归一化，然后送入网络下一层B，这样是会影响到本层网络A所学习到的特征的。打个比方，比如我网络中间某一层学习到特征数据本身就分布在S型激活函数的两侧，你强制把它给我归一化处理、标准差也限制在了1，把数据变换成分布于s函数的中间部分，这样就相当于我这一层网络所学习到的特征分布被你搞坏了，这可怎么办？于是文献使出了一招惊天地泣鬼神的招式：变换重构，引入了可学习参数γ、β，这就是算法关键之处：
每一个神经元xk都会有一对这样的参数γ、β。这样其实当：
是可以恢复出原始的某一层所学到的特征的。因此我们引入了这个可学习重构参数γ、β，让我们的网络可以学习恢复出原始网络所要学习的特征分布。最后Batch&Normalization网络层的前向传导过程公式就是：
上面的公式中m指的是mini-batch&size。
2、源码实现
[python]&&
上面的x是一个二维矩阵，对于源码的实现就几行代码而已，轻轻松松。
3、实战使用
(1)可能学完了上面的算法，你只是知道它的一个训练过程，一个网络一旦训练完了，就没有了min-batch这个概念了。测试阶段我们一般只输入一个测试样本，看看结果而已。因此测试样本，前向传导的时候，上面的均值u、标准差σ&要哪里来？其实网络一旦训练完毕，参数都是固定的，这个时候即使是每批训练样本进入网络，那么BN层计算的均值u、和标准差都是固定不变的。我们可以采用这些数值来作为测试样本所需要的均值、标准差，于是最后测试阶段的u和σ 计算公式如下：
上面简单理解就是：对于均值来说直接计算所有batch u值的平均值；然后对于标准偏差采用每个batch&σB的无偏估计。最后测试阶段，BN的使用公式就是：
(2)根据文献说，BN可以应用于一个神经网络的任何神经元上。文献主要是把BN变换，置于网络激活函数层的前面。在没有采用BN的时候，激活函数层是这样的：
z=g(Wu+b)
也就是我们希望一个激活函数，比如s型函数s(x)的自变量x是经过BN处理后的结果。因此前向传导的计算公式就应该是：
z=g(BN(Wu+b))
其实因为偏置参数b经过BN层后其实是没有用的，最后也会被均值归一化，当然BN层后面还有个β参数作为偏置项，所以b这个参数就可以不用了。因此最后把BN层+激活函数层就变成了：
z=g(BN(Wu))
四、Batch Normalization在CNN中的使用
通过上面的学习，我们知道BN层是对于每个神经元做归一化处理，甚至只需要对某一个神经元进行归一化，而不是对一整层网络的神经元进行归一化。既然BN是对单个神经元的运算，那么在CNN中卷积层上要怎么搞？假如某一层卷积层有6个特征图，每个特征图的大小是100*100，这样就相当于这一层网络有6*100*100个神经元，如果采用BN，就会有6*100*100个参数γ、β，这样岂不是太恐怖了。因此卷积层上的BN使用，其实也是使用了类似权值共享的策略，把一整张特征图当做一个神经元进行处理。
卷积神经网络经过卷积后得到的是一系列的特征图，如果min-batch&sizes为m，那么网络某一层输入数据可以表示为四维矩阵(m,f,p,q)，m为min-batch&sizes，f为特征图个数，p、q分别为特征图的宽高。在cnn中我们可以把每个特征图看成是一个特征处理（一个神经元），因此在使用Batch&Normalization，mini-batch&size 的大小就是：m*p*q，于是对于每个特征图都只有一对可学习参数：γ、β。说白了吧，这就是相当于求取所有样本所对应的一个特征图的所有神经元的平均值、方差，然后对这个特征图神经元做归一化。下面是来自于keras卷积层的BN实现一小段主要源码：
[python]&&
个人总结：2015年个人最喜欢深度学习的一篇paper就是Batch Normalization这篇文献，采用这个方法网络的训练速度快到惊人啊，感觉训练速度是以前的十倍以上，再也不用担心自己这破电脑每次运行一下，训练一下都要跑个两三天的时间。另外这篇文献跟空间变换网络《Spatial Transformer Networks》的思想神似啊，都是一个变换网络层。
参考文献：
1、《Batch Normalization: Accelerating Deep Network Training by &Reducing Internal Covariate Shift》
2、《Spatial Transformer Networks》
**********************作者：hjimce & 时间： &联系QQ：& &原创文章，转载请保留作者、原文地址信息********************
&&相关文章推荐
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：246950次
积分：4385
积分：4385
排名：第6287名
原创：167篇
转载：219篇
评论：27条
阅读：5222
文章：16篇
阅读：10414
http://mp./s?__biz=MzA4MDExMDEyMw==&mid=&idx=1&sn=c3e27f87c84f6f3dfe9a8&chksm=1fa8762928dfff3fa68a621aefff79a0d8abf29adc6ce90a7f299d1692d&mpshare=1&scene=23&srcid=0320Pq86mmFl6szpCUBloQdo#rd
(3)(5)(3)(13)(30)(8)(8)(57)(28)(46)(61)(22)(62)(6)(18)(14)(5)你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
之前看的文章，说DL与NN之间最大的不同是求参的过程。
（1）假设多层隐藏层的NN使用梯度下降法训练参数，以我的理解是，参数初始化是随机的，但是基本接近于0.然后迭代5000次，求出最优参数。但是由于反向传播梯度扩散的现象，加上训练参数十分庞大，求解往往是局部最小值。所以NN才火不起来。
（2）而DL，采用不同的训练方式，逐层训练，每次训练相当于三层的NN，每层训练出的输出作为下层训练的输入。当每次都训练好之后，再“整体调优”，“整体调优”的初始化参数即为前面逐层训练的参数，这样效果当然要比NN好。
以上是我的理解，不知道对不对。假设我的理解是没多大问题的。那我的问题就是：
（1）为什么我看其他的深度学习的方法，至少是CNN，好像没有用到上面所提的训练参数的方式。反而通过Local receptive fields和sharing weights来减少训练参数的个数；通过pooling、dropout tech、L2 regularization、使用ReLU等方式来加快训练速度和避免过拟合。我的理解是，无论用了什么改进。求参过程不可避免需要使用梯度下降（不考虑牛顿），BP求参。那么梯度扩散的现象是不是依然存在？和NN相比，DL仅仅通过训练参数少降低梯度扩散的影响？DL中的梯度扩散和NN中的梯度扩散本质上有无区别？
（2）或者说我没看懂CNN？CNN本身是用到了逐层训练的方式？那能不能给推荐一些资料介绍CNN训练过程的？
（3）假设DL逐层训练，DL网络有3个隐藏层，那么同一个问题NN可能训练需要5000次迭代，是不是DL需要5000*（3+1）次迭代？
感觉越说越乱了...求大神给梳理一下，或者给一些参考资料网址等等，拜谢~
- CaffeCN社区创始人。北航PhD，目前在哈佛大学工作。
先说是不是，再说为什么。
首先给出一个答案供参考：当前（公元2014.01~公元2015.12）被广泛使用的CNN模型，绝大多数都不再使用“逐层预训练”方式进行初始化。注意，是“不再”。
为什么这样说呢？
在回答之前，首先必须要懂的一个道理：许多问题，以及问题解决办法的提出都是有历史背景的，一个好的办法并不永远都是好的，而是因为在当时的历史背景下解决了当时的问题。“逐层预训练”就是这个的集中体现，同样的道理也可参考LSTM。
逐层预训练面对的问题是，在当时的历史条件下（ReLU还未提出、稀疏火的一塌糊涂），如何解决训练深度网络的问题。
如果明白了这个道理，你就明白了为什么后来不再用逐层预训练了：新一代激活函数、dropout等等。而现在，由于一些指导性理论的提出，把网络轻松搞到几十层甚至上百层已不是梦。目前你看到的一些文章中的“pre-training”，已经和那个时期的不是一个意思了，大多数时候是对应于“fine-turnin”来说的（这是后话了）。
题主的问题我猜应该是先看了一些早期深度学习的介绍（大概在08年左右？），但也许你了解的仍不够早。所谓博古才能通今，就是这个道理。推荐你看一篇综述，关于深度学习的年鉴：
Schmidhuber J. Deep Learning in Neural Networks: An Overview[J]. Neural Networks, –117.
另外请参考这个问题：
“无监督学习是否被监督学习取代了？” -
可能和非监督的有些混淆，深度学习火之前，学习深层的神经网络是很困难的，所以Hinton当时提出逐层训练的方法，例如DBN还有Deep Auto-Encoder。这些用的比较少了，相比CNN。CNN是采用ＢＰ方式求参数，用了你了解的那些技术来减少参数还有避免过拟合，具体求解BP过程可以参考《Notes on Convolutional Neural Networks 》，或是部分翻译博客
多层神经网络是深度学习中的一个模型，但深度学习除了XNN,还有RBM DBN AutoEncoder Sparse Coding等模型，而这些模型默认是非监督的，XNN模型目前默认为是监督。你考虑的DL训练方式是那些无监督模型的训练方式。
现在有些开窍了，可能是我接触这个领域的理论才一两个星期，看的理论不系统。
从回复中大概知道了：
（1）、目前主流的学习仍然是监督学习，最多是半监督学习。
（2）、使用ReLU、dropout等技术可以实现深层网络学习，逐层训练方式目前的大背景下又被淘汰了。
（3）、大概意思是深度学习是神经网络的第二春，催化剂是以上各种技术（实现训练参数的目的），而本质上，两者不能严格区分、各成一派。CNN也是采用特定的技术降参，训练参数容易才成为目前比较火的技术。
要回复问题请先或
浏览: 3849
关注: 8 人后使用快捷导航没有帐号？
计算机视觉和 CNN 发展十一座里程碑
查看: 19842|
评论: 0|原作者: Adit Deshpande|来自: 新智元
摘要: 从AlexNet到ResNet，计算机视觉领域和卷积神经网络（CNN）每一次发展，都伴随着代表性架构取得历史性的成绩。作者回顾计算机视觉和CNN过去5年，总结了他认为不可错过的标志模型。在这篇文章中，我们将总结计算机视觉 ...
从AlexNet到ResNet，计算机视觉领域和卷积（CNN）每一次发展，都伴随着代表性架构取得历史性的成绩。作者回顾计算机视觉和CNN过去5年，总结了他认为不可错过的标志模型。在这篇文章中，我们将总结计算机视觉和卷积神经网络领域的重要进展，重点介绍过去5年发表的重要论文并讨论它们为什么重要。从 AlexNet 到 ResNet 主要讲基本网络架构的发展，余下则是各领域的重要文章，包括对抗生成网络、生成图像描述模型。本文结构如下：AlexNet（2012年）ZF Net（2013年）VGG Net（2014年）GoogLeNet （2015年）微软 ResNet （2015年）区域 CNN（R-CNN - 2013年，Fast R-CNN - 2015年，Faster R-CNN - 2015年）生成对抗网络（2014年）生成图像描述（2014年）空间转化器网络（2015年）AlexNet（2012年）一切都从这里开始（尽管有些人会说是Yann LeCun 1998年发表的那篇论文才真正开启了一个时代）。这篇论文，题目叫做“ImageNet Classification with Deep Convolutional Networks”，迄今被引用6184次，被业内普遍视为行业最重要的论文之一。Alex Krizhevsky、Ilya Sutskever和 Geoffrey Hinton创造了一个“大型的深度卷积神经网络”，赢得了2012 ILSVRC（2012年ImageNet 大规模视觉识别挑战赛）。稍微介绍一下，这个比赛被誉为计算机视觉的年度奥林匹克竞赛，全世界的团队相聚一堂，看看是哪家的视觉模型表现最为出色。2012年是CNN首次实现Top 5误差率15.4%的一年（Top 5误差率是指给定一张图像，其标签不在模型认为最有可能的5个结果中的几率），当时的次优项误差率为26.2%。这个表现不用说震惊了整个计算机视觉界。可以说，是自那时起，CNN才成了家喻户晓的名字。论文中，作者讨论了网络的架构（名为AlexNet）。相比现代架构，他们使用了一种相对简单的布局，整个网络由5层卷积层组成，最大池化层、退出层（dropout layer）和3层全卷积层。网络能够对1000种潜在类别进行分类。AlexNet 架构：看上去有些奇怪，因为使用了两台GPU训练，因而有两股“流”。使用两台GPU训练的原因是计算量太大，只能拆开来。要点使用ImageNet数据训练网络，ImageNet数据库含有1500多万个带标记的图像，超过2.2万个类别。使用ReLU代替传统正切函数引入非线性（ReLU比传统正切函数快几倍，缩短训练时间）。使用了图像转化（image translation）、水平反射（horizontal reflection）和补丁提取（patch extraction）这些数据增强技术。用dropout层应对训练数据过拟合的问题。使用批处理随机梯度下降训练模型，注明动量衰减值和权重衰减值。使用两台GTX 580 GPU，训练了5到6天为什么重要？Krizhevsky、Sutskever 和 Hinton 2012年开发的这个神经网络，是CNN在计算机视觉领域的一大亮相。这是史上第一次有模型在ImageNet 数据库表现这么好，ImageNet 数据库难度是出了名的。论文中提出的方法，比如数据增强和dropout，现在也在使用，这篇论文真正展示了CNN的优点，并且以破纪录的比赛成绩实打实地做支撑。ZF Net（2013年）2012年AlexNet出尽了风头，ILSVRC 2013就有一大批CNN模型冒了出来。2013年的冠军是纽约大学Matthew Zeiler 和 Rob Fergus设计的网络 ZF Net，错误率 11.2%。ZF Net模型更像是AlexNet架构的微调优化版，但还是提出了有关优化性能的一些关键想法。还有一个原因，这篇论文写得非常好，论文作者花了大量时间阐释有关卷积神经网络的直观概念，展示了将滤波器和权重可视化的正确方法。在这篇题为“Visualizing and Understanding Convolutional Neural Networks”的论文中，Zeiler和Fergus从大数据和GPU计算力让人们重拾对CNN的兴趣讲起，讨论了研究人员对模型内在机制知之甚少，一针见血地指出“发展更好的模型实际上是不断试错的过程”。虽然我们现在要比3年前知道得多一些了，但论文所提出的问题至今仍然存在！这篇论文的主要贡献在于提出了一个比AlexNet稍微好一些的模型并给出了细节，还提供了一些制作可视化特征图值得借鉴的方法。要点除了一些小的修改，整体架构非常类似AlexNet。AlexNet训练用了1500万张图片，而ZFNet只用了130万张。AlexNet在第一层中使用了大小为11×11的滤波器，而ZF使用的滤波器大小为7x7，整体处理速度也有所减慢。做此修改的原因是，对于输入数据来说，第一层卷积层有助于保留大量的原始象素信息。11×11的滤波器漏掉了大量相关信息，特别是因为这是第一层卷积层。随着网络增大，使用的滤波器数量增多。利用ReLU的激活函数，将交叉熵代价函数作为误差函数，使用批处理随机梯度下降进行训练。使用一台GTX 580 GPU训练了12天。开发可视化技术“解卷积网络”（Deconvolutional Network），有助于检查不同的特征激活和其对输入空间关系。名字之所以称为“deconvnet”，是因为它将特征映射到像素（与卷积层恰好相反）。DeConvNetDeConvNet工作的基本原理是，每层训练过的CNN后面都连一层“deconvet”，它会提供一条返回图像像素的路径。输入图像进入CNN之后，每一层都计算激活。然而向前传递。现在，假设我们想知道第4层卷积层某个特征的激活值，我们将保存这个特征图的激活值，并将这一层的其他激活值设为0，再将这张特征图作为输入送入deconvnet。Deconvnet与原来的CNN拥有同样的滤波器。输入经过一系列unpool（maxpooling倒过来），修正，对前一层进行过滤操作，直到输入空间满。这一过程背后的逻辑在于，我们想要知道是激活某个特征图的是什么结构。下面来看第一层和第二层的可视化。ConvNet的第一层永远是低层特征检测器，在这里就是对简单的边缘、颜色进行检测。第二层就有比较圆滑的特征了。再来看第三、第四和第五层。这些层展示出了更多的高级特征，比如狗的脸和鲜花。值得一提的是，在第一层卷积层后面，我们通常会跟一个池化层将图像缩小（比如将 32x32x32 变为16x16x3）。这样做的效果是加宽了第二层看原始图像的视野。更详细的内容可以阅读论文。为什么重要？ZF Net不仅是2013年比赛的冠军，还对CNN的运作机制提供了极好的直观信息，展示了更多提升性能的方法。论文所描述的可视化方法不仅有助于弄清CNN的内在机理，也为优化网络架构提供了有用的信息。Deconv可视化方法和 occlusion 实验也让这篇论文成了我个人的最爱。VGG Net（2015年）简单、有深度，这就是2014年错误率7.3%的模型VGG Net（不是ILSVRC 2014冠军）。牛津大学的Karen Simonyan 和 Andrew Zisserman Main Points创造了一个19层的CNN，严格使用3x3的过滤器（stride =1，pad= 1）和2x2 maxpooling层（stride =2）。简单吧？要点这里使用3x3的滤波器和AlexNet在第一层使用11x11的滤波器和ZF Net 7x7的滤波器作用完全不同。作者认为两个3x3的卷积层组合可以实现5x5的有效感受野。这就在保持滤波器尺寸较小的同时模拟了大型滤波器，减少了参数。此外，有两个卷积层就能够使用两层ReLU。3卷积层具有7x7的有效感受野。每个maxpool层后滤波器的数量增加一倍。进一步加强了缩小空间尺寸，但保持深度增长的想法。图像分类和定位任务都运作良好。使用Caffe工具包建模。训练中使用scale jittering的数据增强技术。每层卷积层后使用ReLU层和批处理梯度下降训练。使用4台英伟达Titan Black GPU训练了两到三周。为什么重要？在我看来，VGG Net是最重要的模型之一，因为它再次强调CNN必须够深，视觉数据的层次化表示才有用。深的同时结构简单。GoogLeNet（2015年）理解了我们刚才所说的神经网络架构中的简化的概念了吗？通过推出 Inception 模型，谷歌从某种程度上把这一概念抛了出来。GoogLeNet是一个22层的卷积神经网络，在2014年的ILSVRC2014上凭借6.7%的错误率进入Top 5。据我所知，这是第一个真正不使用通用方法的卷积神经网络架构，传统的卷积神经网络的方法是简单堆叠卷积层，然后把各层以序列结构堆积起来。论文的作者也强调，这种新的模型重点考虑了内存和能量消耗。这一点很重要，我自己也会经常忽略：把所有的层都堆叠、增加大量的滤波器，在计算和内存上消耗很大，过拟合的风险也会增加。换一种方式看 GoogLeNet：Inception 模型第一次看到GoogLeNet的构造时，我们立刻注意到，并不是所有的事情都是按照顺序进行的，这与此前看到的架构不一样。我们有一些网络，能同时并行发生反应。这个盒子被称为 Inception 模型。可以近距离地看看它的构成。底部的绿色盒子是我们的输入层，顶部的是输出层（把这张图片向右旋转90度，你会看到跟展示了整个网络的那张图片相对应的模型）。基本上，在一个传统的卷积网络中的每一层中，你必须选择操作池还是卷积操作（还要选择滤波器的大小）。Inception 模型能让你做到的就是并行地执行所有的操作。事实上，这就是作者构想出来的最“初始”的想法。现在，来看看它为什么起作用。它会导向许多不同的结果，我们会最后会在输出层体积上获得极端大的深度通道。作者处理这个问题的方法是，在3X3和5X5层前，各自增加一个1X1的卷积操作。1X1的卷积（或者网络层中的网络），提供了一个减少维度的方法。比如，我们假设你拥有一个输入层，体积是100x100x60（这并不定是图像的三个维度，只是网络中每一层的输入）。增加20个1X1的卷积滤波器，会让你把输入的体积减小到100X100X20。这意味着，3X3层和5X5层不需要处理输入层那么大的体积。这可以被认为是“池特征”（pooling of feature），因为我们正在减少体积的高度，这和使用常用的最大池化层（maxpooling layers）减少宽度和长度类似。另一个需要注意的是，这些1X1的卷积层后面跟着的是ReLU 单元，这肯定不会有害。你也许会问，“这个架构有什么用？”这么说吧，这个模型由一个网络层中的网络、一个中等大小的过滤卷积、一个大型的过滤卷积、一个操作池（pooling operation）组成。网络卷积层中的网络能够提取输入体积中的每一个细节中的信息，同时 5x5 的滤波器也能够覆盖大部分接受层的的输入，进而能提起其中的信息。你也可以进行一个池操作，以减少空间大小，降低过度拟合。在这些层之上，你在每一个卷积层后都有一个ReLU，这能改进网络的非线性特征。基本上，网络在执行这些基本的功能时，还能同时考虑计算的能力。这篇论文还提供了更高级别的推理，包括的主题有稀疏和紧密联结（见论文第三和第四节）。要点整个架构中使用了9个Inception 模型，总共超过100层。这已经很深了……没有使用完全连接的层。他们使用一个平均池代替，从 7x7x1024 的体积降到了 1x1x1024，这节省了大量的参数。比AlexNet的参数少了12X在测试中，相同图像的多个剪裁建立，然后填到网络中，计算softmax probabilities的均值，然后我们可以获得最后的解决方案。在感知模型中，使用了R-CNN中的概念。Inception有一些升级的版本（版本6和7），“少数高端的GPU”一周内就能完成训练。为什么重要？GoogLeNet 是第一个引入了“CNN 各层不需要一直都按顺序堆叠”这一概念的模型。用Inception模型，作者展示了一个具有创造性的层次机构，能带来性能和计算效率的提升。这篇论文确实为接下来几年可能会见到的令人惊叹的架构打下了基础。微软 ResNet（2015年）想象一个深度CNN架构，再深、再深、再深，估计都还没有 ILSVRC 2015 冠军，微软的152层ResNet架构深。除了在层数上面创纪录，ResNet 的错误率也低得惊人，达到了3.6%，人类都大约在5%~10%的水平。为什么重要？只有3.6％的误差率，这应该足以说服你。ResNet模型是目前最好的CNN架构，而且是残差学习理念的一大创新。从2012年起，错误率逐年下降，我怀疑到ILSVRC2016，是否还会一直下降。我相信，我们现在堆放更多层将不会实现性能的大幅提升。我们必须要创造新的架构。区域 CNN：R-CNN（2013年）、Fast R-CNN（2015年）、Faster R-CNN（2015年）一些人可能会认为，R-CNN的出现比此前任何关于新的网络架构的论文都有影响力。第一篇关于R-CNN的论文被引用了超过1600次。Ross Girshick 和他在UC Berkeley 的团队在机器视觉上取得了最有影响力的进步。正如他们的文章所写， Fast R-CNN 和 Faster R-CNN能够让模型变得更快，更好地适应现代的物体识别任务。&R-CNN的目标是解决物体识别的难题。在获得特定的一张图像后， 我们希望能够绘制图像中所有物体的边缘。这一过程可以分为两个组成部分，一个是区域建议，另一个是分类。论文的作者强调，任何分类不可知区域的建议方法都应该适用。Selective Search专用于RCNN。Selective Search 的作用是聚合2000个不同的区域，这些区域有最高的可能性会包含一个物体。在我们设计出一系列的区域建议之后，这些建议被汇合到一个图像大小的区域，能被填入到经过训练的CNN（论文中的例子是AlexNet），能为每一个区域提取出一个对应的特征。这个向量随后被用于作为一个线性SVM的输入，SVM经过了每一种类型和输出分类训练。向量还可以被填入到一个有边界的回归区域，获得最精准的一致性。非极值压抑后被用于压制边界区域，这些区域相互之间有很大的重复。Fast R-CNN原始模型得到了改进，主要有三个原因：训练需要多个步骤，这在计算上成本过高，而且速度很慢。Fast R-CNN通过从根本上在不同的建议中分析卷积层的计算，同时打乱生成区域建议的顺利以及运行CNN，能够快速地解决问题。Faster R-CNNFaster R-CNN的工作是克服R-CNN和 Fast R-CNN所展示出来的，在训练管道上的复杂性。作者 在最后一个卷积层上引入了一个区域建议网络（RPN）。这一网络能够只看最后一层的特征就产出区域建议。从这一层面上来说，相同的R-CNN管道可用。为什么重要？能够识别出一张图像中的某一个物体是一方面，但是，能够识别物体的精确位置对于计算机知识来说是一个巨大的飞跃。更快的R-CNN已经成为今天标准的物体识别程序。生成对抗网络（2015年）按照Yann LeCun的说法，生成对抗网络可能就是下一个大突破。假设有两个模型，一个生成模型，一个判别模型。判别模型的任务是决定某幅图像是真实的（来自数据库），还是机器生成的，而生成模型的任务则是生成能够骗过判别模型的图像。这两个模型彼此就形成了“对抗”，发展下去最终会达到一个平衡，生成器生成的图像与真实的图像没有区别，判别器无法区分两者。左边一栏是数据库里的图像，也即真实的图像，右边一栏是机器生成的图像，虽然肉眼看上去基本一样，但在CNN看起来却十分不同。为什么重要？听上去很简单，然而这是只有在理解了“数据内在表征”之后才能建立的模型，你能够训练网络理解真实图像和机器生成的图像之间的区别。因此，这个模型也可以被用于CNN中做特征提取。此外，你还能用生成对抗模型制作以假乱真的图片。生成图像描述（2014年）把CNN和RNN结合在一起会发生什么？Andrej Karpathy 和李飞飞写的这篇论文探讨了结合CNN和双向RNN生成不同图像区域的自然语言描述问题。简单说，这个模型能够接收一张图片，然后输出很神奇吧。传统CNN，训练数据中每幅图像都有单一的一个标记。这篇论文描述的模型则是每幅图像都带有一句话（或图说）。这种标记被称为弱标记，使用这种训练数据，一个深度神经网络“推断句子中的部分与其描述的区域之间的潜在对齐（latent alignment）”，另一个神经网络将图像作为输入，生成文本的描述。为什么重要？使用看似不相关的RNN和CNN模型创造了一个十分有用的应用，将计算机视觉和自然语言处理结合在一起。这篇论文为如何建模处理跨领域任务提供了全新的思路。空间转换器网络（2015年）最后，让我们来看该领域最近的一篇论文。本文是谷歌DeepMind的一个团队在一年前写的。这篇论文的主要贡献是介绍了空间变换器（Spatial Transformer）模块。基本思路是，这个模块会转变输入图像，使随后的层可以更轻松地进行分类。作者试图在图像到达特定层前改变图像，而不是更改主CNN架构本身。该模块希望纠正两件事：姿势标准化（场景中物体倾斜或缩放）和空间注意力（在密集的图像中将注意力集中到正确的物体）。对于传统的CNN，如果你想使你的模型对于不同规格和旋转的图像都保持不变，那你需要大量的训练样本来使模型学习。让我们来看看这个模块是如何帮助解决这一问题。&传统CNN模型中，处理空间不变性的是maxpooling层。其原因是，一旦我们知道某个特定特性还是起始输入量（有高激活值），它的确切位置就没有它对其他特性的相对位置重要，其他功能一样重要。这个新的空间变换器是动态的，它会对每个输入图像产生不同的行为（不同的扭曲/变形）。这不仅仅是像传统 maxpool 那样简单和预定义。让我们来看看这个模块是如何工作的。该模块包括：一个本地化网络，会吸收输入量，并输出应施加的空间变换的参数。参数可以是6维仿射变换。&采样网格，这是由卷曲规则网格和定位网络中创建的仿射变换（theta）共同产生的。&一个采样器，其目的是执行输入功能图的翘曲。&该模块可以放入CNN的任何地方中，可以帮助网络学习如何以在训练过程中最大限度地减少成本函数的方式来变换特征图。为什么重要？CNN的改进不一定要到通过网络架构的大改变来实现。我们不需要创建下一个ResNet或者 Inception 模型。本文实现了对输入图像进行仿射变换的简单的想法，以使模型对平移，缩放和旋转保持不变。欢迎加入本站公开兴趣群商业智能与数据分析群兴趣范围包括各种让数据产生价值的办法，实际应用案例分享与讨论，分析工具，ETL工具，数据仓库，数据挖掘工具，报表系统等全方位知识QQ群：
上一篇：下一篇：