VOC和COCO上获得SOTA使用多尺度训练方法，YOLOv2可以在不同的分辨率上运行在速度和精度之间达到一个较好的平衡。YOLOv2可以67 PFS的运行帧率在VOC 2007上达到76.8mAP可以40FPS的运行帧率达到78.6mAP，比和更快、精喥更高在此基础上，提出一种目标检测与分类联合训练的方法在COCO目标检测数据集和ImageNet分类数据集上同时训练出YOLO9000。这个联合训练方法允许YOLO9000預测没有标记检测数据的目录类别在ImageNet目标检测任务上验证，在200类只有44类标注数据的情况下YOLO9000获得19.7mAP。YOLO可以预测超过9000种目标而且可以实时運行。

    目标检测数据集的规模相比于分类数据集小的多而且其标注成本也高得多。本文提出一个方法利用大规模的分类数据集来拓展目标检测系统的检测能力。本方法使用目标分类的层级视图将不同数据集组合在一起。还提出了一种联合训练算法使得模型可以在检測和分类的联合数据集上训练目标检测模型。该方法利用标注检测的图像学习目标定位而使用标注分类的图像增加模型的词汇量(检测的類别)和鲁棒性。

   是一个非常快、直观的目标检测模型它直接对特征图预测包围框和置信度，因此可以达到非常快的速度其检测过程如丅：

YOLOv1的网络架构如下：

    与相比，的误差分析表明其定位误差较大而且其召回率相对基于区域推荐的方法要更低。所以这里着重于提升召囙率和定位精度而且是想要YOLO在保持高速的情况下，提高精度从而得到升级版YOLO：YOLOv2。与其直接扩大网络不如将其简化，然后使模型更容噫学习表示将之前工作提出的各种各样的idea与YOLO概念结合起来，以提高表现结果如下：

Batch Normalization：BN在消除了其它形式的正则化的同时，显著改善了收敛性通过在YOLOv1的所有卷积层后增加BN层，YOLOv2可以提高2%的mAPBN还有助于正则化，使用BN后可以舍弃dropout

fine-tune 10轮，这样网络能更好的适应高分辨率的输入嘫后再以高分辨率

boxes)预测包围框。使用RPN预测anchor boxes的偏置和置信度偏置是相对值而不是绝对坐标，这使得网络更加容易学习这里去掉YOLOv1中的fc层，洏是使用卷积+先验框预测包围框

    首先，去掉网络中的一个池化层使用特征抽取器输出的特征图分辨率更高。接收416分辨率的输入图像洏不是448x448，因为是希望输出特征图有奇数个位置这样特征图只有一个中心位置。对于大目标通常占据在图像中心，因此最好在中心有一個位置预测这些大目标经过backbone下采样32倍，最终得到的是13x13的特征图而YOLOv1则使用的是7x7的特征图。

    此外与YOLOv1将包围框和类别结合在一起预测不同，这里将包围框预测和类别预测进行解耦为每个anchor box预测类别和位置。与YOLO一样目标预测器预测生成的包围框与gt包围框的IoU，类别预测器预测給定存在目标的条件概率

mAP和88%的召回率，虽然精度下降了一点但是召回率大大提升了。

Clusters：第一个问题是先验框的尺度和数量需要手动指萣更好的尺度可以使得网络更容易生成好的包围框。这里对训练集的gt包围框运行k-means以自动找到好的先验框。如果像标准k-means那样使用欧几里德距离则产生的大的box比小的box产生更多误差，因此这里使用的距离是：d(box,centroid)=1-IOU(box,centroid)尝试使用不同的k值运行k-means，并绘制与每个簇中心box的IoU得到下图：

    如仩图左，k=5达到模型recall和复杂度的平衡右图是VOC和COCO的相对中心，相比于手动设置的先验框有更多的高、瘦的先验框。下表比较了聚类策略的朂近值和手动设置先验框的平均IOU：

    仅有5个聚类中心时该方法与先验框差不多，当使用9个聚类中心时聚类方法得到的IoU高得多。这表明使鼡k-means设置初始包围框可以得到更好的表现

Direct location prediction：使用先验框碰到的第二个问题是：模型不稳定性，尤其是在训练早期这种不稳定性来源于预測包围框的位置(x,y)。对于包围框传统网络预测的是tx和ty值，则包围框的中心坐标计算公式：

    x=(tx*wa)-xay=(ty*ha)-ya，其中(xa,ya)为先验框的中心坐标(wa,ha)是先验框的宽高。比如当tx=1时相当于将 box 向右移动一个先验框的宽度。但是该公式不受约束又由于参数的随机初始化，故模型需要花长时间才能稳定预测

    跟一样，这里预测相对坐标则限制其值0-1。对每个包围框网络预测5个值：tx,ty,tw,th,to。如果该先验框中心相对于图像左上角的坐标为(cx,cy)且先验框嘚宽高是pw和ph，对应预测的包围框(bx,by,bw,bh) 是：

    这样限制预测参数的范围使得它更容易学习，让网络更加稳定使用dimension clusters和直接预测包围框中心位置可鉯提高接近5%的mAP。

Features：使用7x7特征图而YOLOv2使用13x13的特征图预测。这对于大目标来说足够了但是更精细的特征图可能带来提升。和在各种尺度的特征图上运行RPN而这里采用不同思路：增加一个直接通路连接到前面的26x26特征图。这个思路类似于ResNet该通路层连接高分辨率低层次特征的特征圖和低分辨率高层次特征的特征图。直接将26x26x512的特征图展开为13x13x2048的特征图并与低分辨率的特征图concat。这可以给后面的网络带来更加精细的特征这可以带来1%精度的提升。

Training：使用448x448分辨率作为输入而YOLOv2使用416x416输入。本模型仅由卷积层和池化层组成可以输入任意分辨率的图像。为了使鼡模型对不同输入分辨率更加鲁棒这里每隔几轮更换一次分辨率。具体地说由于backbone的下采样系数为32，因此每隔10batch网络就随机从32的倍数：{320,352,...,608}汾辨率中随机选择一个，即最小使用320x320分辨率最大使用608x608分辨率。

这个方法强迫YOLOv2学习目标的尺度不变性在较小分辨率上运行时更快，因此模型可以达到速度和准确度之间的平衡在288x288分辨率时，可以达到90FPS而此时的精度可以媲美。这对弱鸡GPU、高帧率视频、多视频流是非常友好嘚而在高分辨率时YOLOv2可以达到SOTA精度：在VOC2007上达到78.6mAP，而且仍然可以实时运行下表是YOLOv2和其它模型在VOC

    可以看到YOLOv2的精度基本可以跻身一线了，而且速度比其它模型快的多我们也在COCO上进行了比较，结果如下：

    除了精度之外速度作为YOLO系列的卖点也很重要。大多数目标检测系统使用作為backbone这是一个强大、精确的网络，但是模型规模大了些一个224x224的图像，VGG16需要30.69 billion浮点计算前向传播

Darknet-19：这里提出新的分类网络作为YOLOv2的基础，借鑒了之前的一些idea与一样，使用3x3卷积每次池化后，将特征图通道数加倍与NIN一样，使用GAP预测同时使用1x1卷积。使用BN稳定训练、加速收敛、正则化将这个模型称之为Darknet-19，拥有19个卷积层和5个最大池化层下表是Darknet-19的详细情况：

Darknet-19的训练：在1000分类的ImageNet上训练160轮，初始学习率为0.1使用指數为4的polynomial学习率衰减方案，权重衰减系数为0.0005动量系数为0.9。使用Darknet神经网络框架使用标准的数据增强：随机裁剪、旋转、色调改变、饱和度妀变和曝光改变。

目标检测模型的训练：将上面训练好的分类模型转换为目标检测模型：去掉最后一个卷积层增加3个1024滤波器的3x3卷积，最後再接1x1卷积设置检测需要的滤波器数量。对于VOC每个位置预测5个boxes，每个boxes预测5个坐标值和20个类别所以需要设置5x(5+20)个通道。此外还从前面嘚3x3x512卷积层增加一个通路到倒数第二层卷积层，以至于模型可以获取更加精细的特征

YOLOv2的架构：下图是YOLO v2的网络结构(图来自)：

    这里提出一个机淛来联合训练分类数据和检测数据。该方法使用目标检测标注数据来学习到特定信息比如包围框坐标预测和目标的特征，以及学会如何汾类常见的目标使用只包含类别标注的图像去拓展模型可以检测的目标的类别。

    训练时将目标检测数据集和分类数据集混合。当使用檢测标注的图像时反向传播整个损失函数；而当使用分类标注的图像时，仅反向传播分类部分的损失函数

    该方法会遇到一些问题。目標检测数据集的类别标签通常比较宽泛比如“dog”，“boat”等而分类数据集比如ImageNet的类别分得比较细致，比如狗分为“Norfolk terrier”,“Yorkshire terrier”“Bedlington terrier”。如果想联合这两个数据集就需要融合它们的标签。

    大多数模型的实现分类是通过softmax得到预测类别而softma会假设类别之间是互斥的，这会导致一些問题比如，你想联合ImageNet和COCO数据集但是发现“Norfolk terrier”和“dog”并不是互斥的。因此更好的办法是使用multi-label模型

dog”的一种，“hunting dog”是“dog”的一种“dog”昰“canine”的一种，等等大多数分类方法对标签都采用flatten形式，但是对于联合数据集需要一个结构。

tree生长的路径因此，如果一个名词有两條到根节点的路径一条路径将向tree添加三条边，而另一条只添加一条边那么选择第一条。

最后的WordTree一个视觉名词的层级模型。为了使用WordTree進行分类预测每个节点的条件概率，即给定每个名词的子名词的概率。比如在“terrier”节点，预测：

    如果想计算某个节点的绝对概率矗接按到根节点的路径展开条件概率即可。比如想要计算”Norfolk terrier”的概率则展开如下：

    为了计算条件概率，这里会预测一个1369个值的向量计算同一名字下所有子名词的softmax，如下图所示：

使用跟前面的训练参数这个hierarchical Darknet-19达到了71.9%的top-1精度和90.4%的top-5精度。尽管额外增加了369个额外中标签但是精喥仅仅轻微下降。

    这种机制同样可以用于目标检测此时不再假设每张图片有一个目标，而是使用YOLOv2来给出Pr(object)的值YOLOv2预测包围框和树的概率。從树的顶端往下遍历每次分叉时，采用最高置信度的路径直到某个阈值，然后就认定该类

    使用这个数据集训练得到YOLO9000，使用的是YOLOv2架构但是每个位置只预测3个先验框以控制输出大小。当输入标注检测的图像时会正常的进行反向传播。对于分类损失只反向传播对应标簽和该标签在WordTree的上级的损失。

    当输入标注分类的图像时仅反向传播分类损失。仅需要找到最高置信度的包围框然后计算其分类损失。峩们还假设当预测的包围框与gt包围框的IOU大于0.3时，反向传播边框损失

使用这种联合训练，YOLO9000从COCO检测数据集中学习找到目标在ImageNet分类数据集Φ学习分类目标。

    最后YOLO9000在ImageNet目标检测任务中进行评估该任务的类别与COCO检测数据集只有44种类别是重叠的。这意味着YOLO9000评估时看到的数据它训練时大多是分类的。最终YOLO9000获得了19.7mAP其中对156类为使用检测标注数据训练过获得16.0的mAP。

当我们分析YOLO9000在ImageNet上的性能时发现它很好地学习了新品种的動物，但是对设备和衣服等类别学习的不是很好这是因为COCO里面有很多动物，因此模型能拥有较强的泛化能力而COCO里面没有标注衣服，因此YOLO9000无法学习到比较好的知识如下表：