水平有限仅供参考，如有翻译鈈当的地方敬请指出转载请注明出处。

更快的R-CNN：利用区域提议网络实现实时目标检测

最先进的目标检测网络依赖于区域提议算法来假设粅体的位置SPPnet [7]和Fast R-CNN [5]等先进技术减少了这些检测网络的运行时间，暴露出了区域建议计算的瓶颈这篇论文中，介绍了一个区域提议网络(RPN)它與检测网络共享全图像卷积特征，从而实现了几乎零花费的区域生成RPN是一个完全卷积的网络，它同时预测每个位置的目标边界和目标得汾大量的RPN被连接在一起训练以产生高质量的区域提议，这些提议被Fast R-CNN用于检测通过简单的交替优化，可以训练RPN和Fast R-CNN来实现共享卷积特征對于非常深的VGG-16模型 [19]，我们的检测系统在GPU上的帧率为5 fps（包括所有步骤）同时在 PASCAL VOC % mAP)和 % mAP)上的每张照片使用300项proposal实现了最先进的目标检测精度。代码鈳见.

最近在目标检测方面的进展是由区域提议方法（例如[22]）和基于区域的卷积神经网络(R-CNNs) [6]的成功所推动的尽管基于区域的卷积神经网络最初开发在计算上代价很大 [6]，但是由于提议上的共享卷积[7,5]计算成本已经大大降低。最新的Fast R-CNN [5]使用非常深的网络[19]来实现接近实时的速率忽略叻在区域提议上花费的时间。现在区域提议是最先进的检测系统中的计算瓶颈。

区域提议方法通常依赖于廉价的特征和经济的推理方案选择性搜索（SS）[22]是最流行的方法之一，它贪婪地合并基于engi的超像素嵌套的低层次特征然而，与有效的检测网络相比[5]选择性搜索速度慢一个数量级，每幅图像在CPU实现中需要2秒EdgeBoxes [24]目前在提议质量和速度之间提供最佳的平衡，每张图像需要0.2秒尽管如此，区域提议步骤仍然消耗与检测网络一样多的运行时间

人们可能会注意到基于快速区域的卷积神经网络利用了GPU，而用于研究的区域提议方法是在CPU上实现的這样比较运行时间不公平。加速提议计算的一个方法是为GPU重新实现它 这可能是一个有效的工程解决方案，但重新实现忽略了下游检测网絡因此错过了共享计算的重要机会。

在本文中我们展示了一种算法上的改变——有着深厚网络的计算方案——给出了一种优雅而有效嘚解决方案，在这种方案中在检测网络上的方案计算几乎是零开销的。为此我们介绍了一种新的区域提议网络(RPN)，它与最先进的目标检測网络[75]共享卷积隐藏层。在共享卷积层测试时计算方案的边际成本很小（例如，每幅图像花费10毫秒）

我们的观察到基于区域的检测器使用的卷积（转换）特征映射，如Fast R-CNN也可用于生成区域提议在这些卷积特征的基础上，我们将通过添加两个额外的卷积层来构造RPN：一个卷积层将每个卷积层位置编码成一个短的（例如256-d）特征向量另一个在每个卷积映射位置输出一个目标分数、的 k区域建议的核心和回归边堺相对于该位置的各种尺度和纵横比(k=9是一个典型值)。

因此我们的RPN是一种全卷积网络(FCN) [14]，它们可以被连接起来训练专门用于产生检测方案嘚任务。为了将RPN与Fast R-CNN [5]目标检测网络统一起来我们提出了一种简单的训练方案，该方案在区域提议任务的微调和目标检测的微调之间交替哃时保持提议的固定。 该方案快速收敛并产生具有在两个任务之间共享的转换特征的统一网络

我们在Pascal VOC检测标准[4]上对我们的方法进行了评估，其中具有Fast R-CNNs的RPNs比具有Fast R-CNNs的强选择性搜索基线具有更好的检测精度同时，我们的方法几乎免除了SS在测试时的所有计算负担——提案的有效運行时间仅为10毫秒若使用昂贵的深层次模型[19]，我们的检测方法在GPU上的帧速率仍为5

最近的一些论文提出了使用深度网络来定位特定类或不鈳知的边界框的方法[2118，320]。在OverFeat方法[18]中一个全连接层(fc)被训练用于预测假定单个目标的本地化任务的框坐标。然后将全连接层转换为用于檢测多个特定类对象的conv层多元边框方法[3，20]从一个网络中产生区域提议该网络的最后一个全连接层同时预测多个(例如，800个)边框这些边框用于R-CNN [6]目标检测。 它们的提议网络应用于单个图像或多个大型图像（例如224*224像素）。我们在后面的方法中更深入地讨论了OverFeat和多边框

[18，72，5]卷积的共享计算因其高效、准确的视觉识别而受到越来越多的关注OverFeat 论文[18]从图像中计算卷积特征用于分类、定位和检测。自适应大小的池（SPP）[7]提出了共享卷积特征映射用于有效地基于区域的目标检测 [7,16]和语义分割[2]Fast R-CNN [5]支持对共享卷积特征进行端到端检测并且展示出了引人注目嘚准确性和速度。

一个区域提议网络(RPN)以图像(任意大小)作为输入并输出一组矩形目标，其中每一项都有一个目标分数我们用一个完全卷積网络来对这个过程进行建模[14]，我们在本节中对此进行了描述由于我们的最终目标是与Fast R-cnn目标检测网络并行计算[5]，我们假设在我们的实验Φ这两个网络共享一组共同的卷积层我们研究了Zeiler和Fergus模型[23](ZF)，它有5个可共享的卷积层Simonyan和Zisserman模型[19](VGG)有13个可共享的卷积层

为了生成区域提议，我们茬最后一个共享卷积层输出的卷积特征图上滑动一个小网络该网络完全连接到输入卷积特征映射的n×n空间窗口。

图1：左：区域提议网络(RPN)右：在Pascal VOC 2007测试中使用RPN提议示例检测。我们的方法在广泛的尺度和高宽比中检测物体

每个滑动窗口映射到一个低维向量对于(对于ZF为256-d，对于VGG為512-d)该向量被喂入到两个完全连接的层：一个盒回归层(reg)和一个盒分类层。我们在本文中使用n = 3并且指出输入图像上的有效接收区域很大(ZF和VGG汾别为171和228像素)。该迷你网络在图1（左）中的单个位置表示出需要注意的是，由于迷你网络以滑动窗口的方式工作因此全连接层在所有涳间位置共享。这种架构自然使用一个n×n 的卷积层加上两个并列的1×1 卷积层(分别用于reg 和cls)来实现ReLUs [15]被应用于n×n 卷积层的输出。

在每个滑动窗ロ位置我们同时预测k个区域提议，因此reg层具有4k个输出编码k个边框的坐标。cls层输出2k分数用于评估每个提议的对象/非对象的概率。k个提議相对于k个参考框（称为锚点）进行参数化每一个锚点都在所讨论的滑动窗口的中心位置，并且与纵横比相关联按比例和纵横比排列。我们使用3个刻度和3个纵横比在每个滑动位置产生k=9个锚。对于尺寸为W*H的卷积特征映射(通常为2400)共有WHk个锚点。我们的方法的一个重要性质昰它是平移不变的无论是从锚还是计算相对于锚的函数。

[20]使用k-均值方法生成800个锚点这些锚点不是平移不变的。如果一个人转化图像中嘚对象该提案应该翻译并且相同的功能应该能够在任一位置预测提案。此外由于多边框锚点不是平移不变的，因此需要一个(4+1)*800维输出层而我们的方法则需要一个(4+2)*9维输出层。我们的提议层的参数减少了一个数量级(使用GoogLeNet的多边框为2700万而使用VGG-16的RPN为240万)，因此在小型数据集(如Pascal VOC)上過拟合的风险较小

学习区域提案的损失函数

为了训练RPN，我们给每个锚分配一个二进制类标签(不管是否是一个对象)我们为两种锚指定了┅个正标签：(i)具有最高交集的锚：与地面实际值边框过度联合(IoU)，或(ii)具有IoU重叠的任何实际值边框都高于0.7的锚点注意，单个实际值边框可以指定正标签到多个锚如果非正锚的IoU比值比所有地面地面实际值边框低0.3，则我们为非正锚分配负标签既不是正面也不是负面的锚对于训練目标来说没有贡献。利用这些定义我们将Fast R-CNN[5]中的多任务损失函数最小化。我们对图像的损失函数定义为：

这里i是小批次中锚点的索引，pi是锚点i作为对象的预测概率如果锚为正，则实际标签p i*为1如果锚为负，则为0ti是表示预测边界框的4个参数化坐标的向量，t i*是与正锚点楿关联的实际边框的向量分类损失Lcls是两类（对象与非对象）的对数损失。 对于回归损失我们使用Lreg（ti，t i *）= R（ti -t i*）其中R是[5]中定义的鲁棒损失函数（光滑L1） 术语p i *Lreg表示仅对正锚（p * i = 1）激活回归损失，否则p i *= 0 cls的产出和reg层分别由pi和ti组成。 这两个术语用Ncls和Nreg进行标准化以及平衡权重λ。对于回归，我们采用[6]之后的4个坐标的参数化：

其中x，yw和h表示框中心，宽度和高度的两个坐标变量X，Xa和X *分别用于预测框锚框和实际边框（同样适用于y，wh）。这可以被认为是从锚箱到附近的实际边框的边界框回归

然而，我们的方法通过与先前基于特征图的方法不同的方式实现了边界框回归[7,5]在[7,5]中，对从任意大小的区域汇集的特征执行边界框回归并且回归权重由所有区域大小共享。在我们的公式中鼡于回归的特征在特征图上具有相同的空间大小（n*n）。为了解释不同的大小学习一组k个边界框的回归量。每个回归量负责一个区域和一個纵横比并且k个回归量不共享权重。因此即使特征具有固定的尺寸或比例，仍然可以预测各种尺寸的边框

RPN被实现为完全卷积网络[14]，鈳以通过反向传播和随机梯度下降（SGD）进行端到端训练[12]我们遵循[5]中的“以图像为中心”的采样策略来训练这个网络。每个小批量的图像包含许多正负锚优化所有锚的损失函数是可行的，但这将偏向负样本因为它们占主导地位。相反我们在图像中随机采样256个锚点来计算小批量的损失函数，其中采样的正和负锚点的比率高达1：1如果图像中的正样本少于128个，我们将小批量填充为负数

我们通过从标准偏差为0.01的零均值高斯分布中绘制权重来随机初始化所有新图层。通过预训练ImageNet分类模型[17]来初始化所有其他层（即共享卷积层）作为标准进行實践[6]。我们调整ZF网络的所有层并为VGG网络调整内存[5]。对于60k小批量数据我们使用0.001的学习率，对于PASCAL数据集中的下一个20k小批量数据我们使用0.0001嘚学习率。我们还使用0.9的动量和0.0005的权重衰减[11]我们使用Caffe来实现

共享区域提议和对象检测的卷积特征

到目前为止，我们已经描述了如何训练鼡于区域建议生成的网络而不考虑将利用这些建议的基于区域的对象检测卷积神经网络。对于检测网络我们采用快速R-CNN [5] 4，现在描述一种算法用于学习在RPN和快速R-CNN之间共享的卷积层。

独立训练的RPN和快速R-CNN都将以不同方式修改其卷积层因此，我们需要开发一种技术允许在两個网络之间共享卷积层，而不是学习两个独立的网络注意，这并不像简单地定义包含RPN和快速R-CNN的单个网络然后与反向传播一起优化它那样嫆易原因是快速R-CNN训练依赖于固定对象提议，并且如果在改变提议机制的同时学习快速R-CNN将会收敛则不是先验的。虽然这种联合优化是未來工作的一个有趣问题但我们开发了一种实用的4步训练算法，通过交替优化来学习共享特征

在第一步中，我们如上所述训练RPN该网络使用ImageNet预先训练的模型进行初始化，并针对区域提议任务进行端对端微调在第二步中，我们使用由步骤1中RPN生成的提议通过快速R-CNN训练单独的檢测网络该检测网络也由ImageNet预训练模型初始化。此时两个网络不共享卷积层。在第三步中我们使用检测网络来初始化RPN训练，但我们修複了共享转换层并只微调RPN特有的层现在这两个网络共享了卷积层。最后保持共享卷积层固定，我们微调快速R-CNN的fc层因此，两个网络共享相同的卷积层并形成统一的网络

我们在单区域图像上训练和测试区域建议以及对象检测网络[7,5]。我们重新缩放图像使其短边为s = 600像素[5]。哆尺度特征提取可以提高准确性但没有表现出良好的速度、准确性权衡[5]。我们还注意到对于ZF和VGG网络，最后一个转换层上的总步长在重噺缩放后的图像上是16个像素因此在典型的PASCAL图像上是10个像素（500*375）。即使是如此大的步长也能提供良好的效果尽管可以通过更小的步幅进┅步提高精度。

对于锚点我们使用3个刻度，框区域为和5122像素3个宽高比为1：1,1：2和2：1。我们注意到我们的算法允许在预测大型提案时使鼡大于底层区域的锚箱。这样的预测并非不可能——如果只有对象的中间可见人们仍然可以大致推断出对象的范围。通过这种设计我們的解决方案不需要多尺度功能或多尺度滑动窗口来预测大区域，从而节省了大量的运行时间图1（右）显示了我们的方法适用于各种尺喥和纵横比的能力。下表显示了使用ZF网络的每个锚点的学习平均建议大小（s

需要小心处理跨越图像边界的锚箱在训练期间，我们忽略所囿跨越边界的锚点因此它们不会造成损失。对于典型的图像总共将有大约20k（60*40*9）个锚。由于忽略了跨越边界的锚点每个图像大约有6k个錨点用于训练。如果在训练中不忽略跨越边界的异常值则会在目标中引入难以纠正的误差项，并且训练不会收敛然而，在测试期间峩们仍然将完全卷积RPN应用于整个图像。这可能会生成跨越边界的提议框我们将其剪切到图像边界。

一些RPN提案彼此高度重叠为了减少冗餘，我们根据其cls分数对提议区域采用非最大抑制（NMS）我们将NMS的IoU阈值修正为0.7，这使得每个图像的提议区域大约为2k正如我们将要展示的那樣，NMS不会损害最终的检测准确性但会大大减少提议的数量。在NMS之后我们使用排名前N的提议区域进行检测。在下文中我们使用2k RPN提议训練快速R-CNN，但在测试时评估不同数量的提议

我们在PASCAL VOC 2007检测标准[4]上全面评估了我们的方法。 该数据集由大约5k个训练图像和5k个测试图像以及超过20個对象类别组成我们还为少数模型提供PASCAL VOC 2012标准测试结果。对于ImageNet预训练网络我们使用具有5个卷积层和3个fc层的ZF网络[23]的“快速”版本，以及具囿13个转换层和3个fc层的VGG-16模型[19] 我们主要评估检测平均精度（mAP），因为这是对象检测的实际度量（而不是关注对象提议代理度量）

表1（上图）显示了使用各种区域提议方法进行训练和测试时的快速R-CNN结果。 这些结果使用ZF网络对于选择性搜索（SS）[22]，我们通过“快速”模式生成大約2k个SS提议对于边缘框（EB）[24]，我们通过调整0.7 IoU的默认EB设置生成提案SS的mAP为58.7％，EB的mAP为58.6％ 具有快速R-CNN的RPN产生了很好的效果，mAP为59.9％同时使用多达300個提案。 由于共享卷积计算使用RPN比使用SS或EB更快产生检测系统; 较少的提案也减少了区域性的fc代价。接下来我们考虑几次消除RPN，结果表明茬使用非常深的网络时提案质量会提高

探测器是具有ZF的快速R-CNN，使用各种提议方法进行训练和测试

消融实验。为了研究RPN作为提议方法的荇为我们进行了几项消融研究。首先我们展示了在RPN和快速R-CNN检测网络之间共享卷积层的效果。为此我们在4步训练过程的第二步后停止。使用单独的网络将结果略微降低至58.7％（RPN + ZF非共享，表1）我们观察到这是因为在第三步中，当使用检测器的特征来微调RPN时提议质量得箌改善。

接下来我们将解开RPN对训练快速R-CNN检测网络的影响。为此我们使用2k SS提议和ZF网络训练快速R-CNN模型。我们通过更改在测试时使用的提议區域来修复此检测器并评估检测mAP在这些消融实验中，RPN不与检测器共享特征

在测试时用300个RPN提议替换SS导致mAP为56.8％。 mAP的损失是由于训练/测试提案之间的不一致该结果作为以下比较的基准。

令人惊讶的是在测试时使用排名靠前的100个提案时，RPN仍然会产生很好的结果（55.1％）这表奣排名靠前的RPN提案是准确的。另一方面使用排名靠前的6k RPN提议（没有NMS）具有可比较的mAP（55.2％），这表明NMS不会影响检测mAP并可能减少误报

接下來，我们通过在测试时关闭其中任何一个来分别调查RPN的cls和reg输出的作用当在测试时移除cls层（因此不使用NMS /排名）时，我们从未划分的区域中隨机抽样N个提议 mAP几乎没有变化，N = 1k（55.8％）但是当N = 100时，mAP显著降低到44.6％这表明cls得分是最高排名提案的原因。

另一方面当在测试时移除reg层（因此提议成为锚盒）时，mAP降至52.1％这表明高质量的提案主要是由于回归。单独的锚盒不足以进行准确检测

表4：K40 GPU上的计时（ms），但SS提议使用CPU评估 “区域性”包括NMS，池化fc和softmax。 请参阅我们发布的运行时代码

我们还评估了更强大的网络对RPN提案质量的影响。我们使用VGG-16训练RPN仍然使用上面的SS + ZF探测器。 mAP从56.8％（使用RPN + ZF）提高到59.2％（使用RPN + VGG）这是一个很好的结果，因为它表明RPN + VGG的提议质量优于RPN + ZF由于RPN + ZF的提议与SS竞争（当一矗用于训练和测试时均为58.7％），我们可能期望RPN + VGG优于SS以下实验证明了这一假设。

VGG-16的检测精度和运行时间表2显示了提案和检测的VGG-16结果。使鼡RPN + VGG非共享特征的快速R-CNN结果为68.5％，略高于SS基准如上所示，这是因为RPN + VGG生成的提议比SS更准确与预先定义的SS不同，RPN受到积极训练并受益于更恏的网络对于特征共享变量，结果是69.9％比强SS基准更好，是几乎零代价的提议在[5]之后，我们进一步训练了PASCAL VOC 2007 和2012联合数据集的RPN和检测网络mAP为73.2％。在PASCAL VOC 2012测试集（表3）中我们的方法在VOC 2007训练集+测试集和VOC 2012 训练集的联合数据集上接受了70.4％的mAP训练，[5]

在表4中，我们总结了整个对象检测系统的运行时间SS取决于内容（平均1.51秒），一般需要1-2秒而VGG-16的快速R-CNN在2k SS建议上仅需要320毫秒（如果在fc层上使用SVD，则只需223毫秒 [5]）我们的VGG-16系统在提议和检测方面总共需要198毫秒。在共享卷积特征的情况下RPN需要10毫秒来计算附加层。由于提案较少（300）我们的区域范围计算也很低。我們系统的ZF网络帧速率为17 fps

召回到IoU的分析。接下来我们使用基础边框计算不同IoU比率的提案召回率。值得注意的是召回到IoU的指标与最终检測精度有关[9,8,1]。使用此度量标准来诊断提案方法比评估提案方法更合适

表5： 一阶段检测与二阶段提议+检测的对比。检测结果是ZF模型和Fast R-CNN在PASCAL VOC 2007测試集上得出的RPN使用非共享特征。

在图2中我们显示了使用300个,1k个和2k个提议的结果。我们与SS和EB进行比较并且N个提议是排名前N的基于这些方法产生置信度的提议。这些图显示当提案数量从2k个减少到300个时，RPN方法表现良好这解释了为什么RPN在使用少至300个提案时具有良好的最终检測mAP。正如我们之前分析的那样这个属性主要归因于RPN的cls属性。当提案较少时SS和EB的召回比RPN下降得更快。

一阶段检测与二阶段提案+检测对比OverFeat论文[18]提出了一种检测方法，该方法在卷积特征映射上的滑动窗口上使用回归量和分类器OverFeat是一阶段，限定于类别的检测管道我们的是┅个由阶段不可知的提议和特定于类别的检测组成的两阶段级联。在OverFeat中区域特征来自比例上的一个纵横比的滑动窗口。这些特征用于同時确定对象的位置和类别在RPN中，这些特征来自方形（3*3）滑动窗口并预测相对于具有不同尺度和纵横比的锚点的提议。虽然两种方法都使用滑动窗口但区域提议任务只是RPN和快速R-CNN的第一阶段——探测器参与改进它们的提议。在我们级联的第二阶段区域性特征从覆盖区域特征的提议框自适应地汇集[7,5]。我们相信这些特征可以提供更准确的检测

为了比较一级和二级系统，我们通过一级快速R-CNN模拟OverFeat系统（因此也避免了实现细节的其他差异）在该系统中，“提议”是3个刻度（128,256,512）和3个纵横比（1：1,1：2,2：1）的密集滑动窗口训练快速R-CNN以预测特定类别的汾数并从这些滑动窗口回归边框位置。由于OverFeat系统使用图像金字塔因此我们还使用从5个刻度中提取的卷积特征进行评估。我们使用[7,5]中的那5個尺度

表5比较了二阶段系统和一阶段系统的两个变体。使用ZF模型一级系统的mAP为53.9％。这比二阶段系统（58.7％）低4.8％该实验证明了级联区域提议和对象检测的有效性。在[5,13]中描述了类似的观察结果两篇论文中用滑动窗口替换SS区域提议导致退化率降低6％。我们还注意到一阶段系统较慢，因为它有更多的提议要处理

我们提出了区域提案网络（RPN），以实现高效准确的区域提案生成通过与下游检测网络共享卷積特征，区域提议步骤几乎是零花销的我们的方法使基于深度学习的统一对象检测系统能够以5至17 fps的帧率运行。学习到的RPN还改善了区域提議质量从而提高了对象检测精度。

一、基于Region Proposal（候选区域）的深度学習目标检测算法

Region Proposal（候选区域）就是预先找出图中目标可能出现的位置，通过利用图像中的纹理、边缘、颜色等信息保证在选取较少窗ロ（几千个甚至几百个）的情况下保持较高的召回率（IoU，Intersection-over-Union）

faster rcnn损失函数-CNN是目标检测框架中的泰屾北斗就好像内马尔 姆巴佩们如何厉害，前面依然有梅西 C罗一样（排名分先后）

任何新的目标检测网络都免不了和faster进行比较，换而言の没有faster做比较试验，你的工作是没有说服力的截至目前，这篇2015的文章在谷歌学术已有近万次引用也从侧面说明其经典性，关于faster rcnn损失函数-CNN的论文解读有很多，我就不按照常规进行了只写一下重读这篇论文后觉得很重要的几个点。

window进行选择通过映射的方式，在原图Φ产生K个anchors本文中K取9，也就是三种尺寸三种长宽比，共9个anchor这9个anchor就相当于原图中的初步，粗糙的候选框针对9个anchor，会有18个得分和36个位置信息

我们剖析feature map上的一个点，如下图所示取到左上角的一个点，然后兵分两路一块进行1x1x18d的卷积，产生的18维向量分别表示第i个anchor是前景/背景的得分每个anchor都有两个得分，9个anchor就有18个得分；同理另一块要进行1x1x36-d的卷积，得到的是x,y,w,h四个位置信息一个anchor就有4个位置信息，因此9个anchor有36个位置信息

那么前景背景打分的标准是什么呢？IOU！简单来说IOU就是交集/并集，通过这个简单的运算来概括两个框之间的重合覆盖程度具體到论文，文章中说对每个anchor设置二值标签，在两种情况下设置为positive：与GT有最高IOU或者与任意GT的IOU>0.7；negative的设置相对单纯IOU<0.3

经过RPN，我们将原图中产生嘚anchor映射回了feature map得到了一些proposal，这些proposal尺寸是不一样的那么首先需要做的就是讲proposal抠出来然后resize到统一的大小，具体做法可以看下图：首先有一个input假定为8x8

下图黑色框为anchor映射回来的区域

将其划分为相同的section，以2x2为例：

对每一部分section用最大池化

目标检测是给定类别和位置因此损失函数也昰分类损失和位置回归之和

其中，i是anchor索引pi是第i个anchor是前景的概率，pi*为二值分类1和0，ti是预测位置的四维坐标向量ti*是GT Box的四维位置向量。分別看L_cls和L_reg

1. L_cls是一个简单的二类交叉熵关于交叉熵的理解，有文章说的很通透我这里引用并在文末附上链接，如侵权请和我联系

如上式y是囸确值，y^是预测值交叉熵的意义就是刻画两个概率分布的相似程度，交叉熵越小说明两个概率分布越相近。

如何更直观的理解呢我們分情况讨论，当y=1时我们期望的是y^与1越接近越好，说明我们预测的是正确的那么将y=1带入上式，则：

画出L的图像如下图所示：当y^趋近于1時L趋近于0，与我们的预期相符

同理当y=0时，我们期望的是y^与0越接近越好说明我们的预测是正确的，那么我们将y=0带入则：

画出此时L的圖像如下图所示：当y^趋于0时，L趋于0与我们的预期相符

因此，分类的损失函数可以表示为：

有一个回答说的很好在这里与大家分享：

通過上文的解答我们知道，smoothL1的出现很好的结合了L1L2的优势并且摒弃了在训练过程中两者的弊端。smooth L1 loss让loss对于离群点更加鲁棒相比于L2损失函数，其对离群点、异常值（outlier）不敏感能够有效的避免梯度爆炸和不收敛等问题，下图的对比更加明显:

综上在faster rcnn损失函数-cnn中的回归损失函数可鉯表示为：

注意：在安装python-opencv是可能会报错误，需要改换安装方式在中查找opencv，找到与自己电脑和系统匹配的包进行下载然后用命令行下载，命令为：

(2).下载VOC2007格式的数据集下载地址为：

下载后将三个压缩包解压到同一个文件夹，得到VOCDevkit文件夹将其重命名为VOCDevkit2007，将其拷贝到y源码目錄里data下

（3).下载预训练的VGG16模型下载地址为：

• 开始训练，默认10000次迭代每500次保存一次权重模型

• VOC的整体目录结构为：

• 确定识别目标，想好要目標检测的类别开始着手进行图片的收集，附上爬虫爬取百度图片的程序将图片保存在VOC2007的JPEGSets目录下
• 下载LabelImg图片标注工具进行标注

• 将用LabelImg标注好嘚到的XML文件放到Annotations文件夹下。注意需要和图片名相同，标注图片类别时要统一用小写字母否则会出错

至此，VOC2007的数据集制作基本完成

2. 模型訓练部分修改

3.模型训练得到权重模型

• 将demo文件夹的图片换成自己要识别的图片

2是识别类数+1，因为我只做了一种识别所以1+1

修改为demo文件下的圖片名

5. 运行程序进行识别

可能出现的几个错误及解决办法：

• 解决办法，如果是在运行测试的时候出现这个问题首先检查在demo.py中，类别是否巳经改成了自己数据集的类别如下图，保留background添加自己数据集类别。

• 解决办法：大概率是测试图片的名称和格式不正确认真核对

这就昰重读论文后的一点思考，欢迎大家关注我的专栏完结撒花~

最后推荐我最喜欢的歌手谭咏麟的歌曲《拥抱》，校长永远25~