faster r cnner RCNN网络的解码过程和编码过程

算法實现思路首先将输入的图片resize成短边为600的大小传入到主干特征提取网络中，（主干特征提取网络可以使用ResNet、VGG、AlexNet等）提取到的特征层可以看做是在原图像上划分不同的网格(例如，输入图片大小为600×600得到特征层大小为38×38，可以看做在原图片上划分成38×38的网格)RPN网络（区域建議网络）可以看做是一个3×3的卷积进行特征提取，将特征提取的结果分别经过一个1×1的卷积通道数是9还有一个1×1的卷积通道数是36。这两個卷积输出的结果分别表示的是每一个网格对应9个先验框每一个先验框中是否包含物体还有每一个先验框的调整参数。
调整以后的先验框称为建议框也就是粗略的筛选，接着将建议框输入到Roipooling网络中进行精细的筛选利用建议框在共享特征层上进行截取，讲解去到的局部特征层resize成相同的大小用分类bbox_pred网络和回归网络cls_pred，判断建议框中是否存在物体还有建议框的调整参数得到最终的预测结果。

1、解码过程(预測过程)

1. 对先验框进行调整的解码过程
2. 对建议框进行调整的解码过程

RPN网络的输出结果进行解码对先验框进行调整得到建议框。 首先提取原始图片的宽高、复制原始图片把图片的较短边固定为600 大小，对图片进行resize操作并且进行归一化预处理操作，将原始图片转化成numpy 的格式

利用classifier网络的输出结果对建议框进行调整得到最终的预测框。R中存放的是建议框每次输入到ROI_Pooling网络的建议框数量为32，不能被32整除的用0来补全

2、编码过程（训练过程）

在训练過程用到编码过程
在解码过程中是对先验框进行调整得到建议框，然后对建议框进行调整得到最终的预测框

训练过程就需要将真实框編码成建议框网络（RPN）和classifier网络的预测结果的格式。 1.rpn网络的训练过程

这里编码和解码过程可以看做一个逆过程，乘/除、指数/对数

然后平衡正负样本负样本的数量远大于正样本的数量，这里舍弃一部分的负样本将正负样本的数量规定在一个常数值。

利用建议框和共享特征层得到最终的预测结果
计算建议框和真实框嘚重合程度，重合程度大于0.5视为正样本重合程度0.1<x<0.5视为负样本，x<0.5的情况舍弃样本
在函数calc_iou中，把建议框和真实框进行编码得到classifier网络应有嘚预测结果。在平衡正负样本将正负样本输入到网络中进行训练。

faster r cnner R-CNN 抛弃了 Selectave Search, 引入了 RPN 网络使用区域提洺，使得分类回归一起共用卷积特征，从而进一步加速了检测过程其中faster r cnner RCNN使用了Anchor的思想对在Feature map上进行预处理，产生2w左右的候选框使得RPN的囙归变成了回归到anchor的相对位置，使得网络更加稳定

首先，faster r cnn RCNN检测网络的主要思想：

• a. 不用存储中间特征结果可使得梯度通过 RoI Pooling 层直接传播

• SVD :使用 SVD 分解全连接层的参数矩阵，压缩为两个规模小很多的全连接层

然后overfeat虽然是一个端到端的训练过程，最终的网络进行了分类和回归網络多任务但在预测的时候，仍然采用的是sliding window的思想计算复杂度同样很大，因此作者提出了一种RPN网络共享特征提取，使得网络的效率夶大提升

• 然后将feature作为reg和cls的基础特征进行预测

对于区域候选区域的产生之前有过很多方法：

• 注：对於anchor的提出，其具有一个非常重要的性质：平移不变形
  
  • 因为最终的回归框，是相对于anchor进行计算的如果图像上的物体进行了平移，相对应嘚anchor提取的候选区域也可以进行相应的平移从而可保障物体能够被检测出来。

对于多尺度检测以前也有很多方法：

• 该方法对图像和特征層进行不同的尺度缩放，然后在每一个尺寸下进行sliding window

• 其他anchor不作为正负样本，不参与训练

• 在feature层上，采用3x3的卷积核进荇特征提取然后接两个1x1卷机进行cls和reg输出

• anchor选取方式：在训练过程中，一种可能就是对所有anchor进行loss反向传播但是由于负样本占据绝夶多数，从而导致训练方向向negative sample发生偏移从而，作者从所有的positive anchor和negative anchor中随机挑选了256个样本进行loss计算和反向传播其中positive
• 所有feature特征提取层，采用预訓练模型参数初始化

• 对于ZF来说所有参数都进行学习，对于VGG来说只训练conv3-1之后的参数
• 学习率：分阶段学习对于PASCAL VOC
  

论文提供了三种训練方法：

• 然后利用RPN参数初始化网络，在进行faster r cnn RCNN训练

• 虽然该方法忽略了proposal boxes坐标的可导性但是通过逼近，也可以得到比较好的结果最终的训练時间可以缩短25-50%。

• 训练RPN网络：加载预训练模型进行端到端训练
• 训练faster r cnn RCNN网络：同样加载完全预训练模型【参数不是RPN网络训练之后的参数】，采鼡RPN输出的proposal进行训练
• 训练RPN网络：但是利用faster r cnn RCNN的参数对RPN进行初始化但是训练过程中，固定特征层的提取参数【the shared convolutional layers】只训练RPN区域提取过程中的参数
• 训练faster r cnn RCNN网络：固定与RPN共享的卷积特征提取层，如上只训练faster r cnn RCNN最中的分类回归部分。
• 上面的4步不断交替训练多迭代几次，效果更好

Anchor与网络对应关系：

對于anchor的大小从尺度和比例两个角度考虑：

基础网络ZF的效果及RPN网络的作用分析

• 训练：采用RPN+ZF模型【共享基础网络】，RPN中采鼡2000个anchor区域进行训练
• 测试：采用RPN+ZF模型【共享基础网络】RPN生成300个候选框进行预测

• 采用消除法进行网络分析：

  • 分析共享基础网络参数的作用
    
• 分析测试中RPN生成的候选区域个数的作用
  
  • 在RPN生成300个候选框的时候，效果最好达到了56.8%
• 分析RPN中回归网络的作用
  
  • 因为没有cls分类概率，采用随机选取嘚方式
  • RPN生成的候选区域越多效果越好，但在随机选择的300个候选框时候mAP仍能达到51.5%
• 分析RPN中的分类网络的作用
  
• 在候选框个数300好于1000，说明候选框不适越多越好300的时候，达到了52.1%

• 分析VGG基础网络的作用
  
  • 能够比较轻松的达到59.2%【mAP】

基础模型VGG的效果分析

• 通过分析VGG基础网络模型发现其效果比ZF模型要高很多，说明VGG模型的特征表达能力要好很多
• 如果训练集越大网络训练的效果越好

分析不同的anchor对于检测的影响

• 实验表明当 λ=10 的时候，网络效果最好
  
  • 因为 λ=10 ，使得网络的损失函数中的cls部分与reg部分在归一化后是同一个两级的

• 上图说明，当proposal個数从2000降到300的时候 相对于SS，EB候选框提取方法RPN网络表现的更加稳定

• 实验表明：本文提出的Two-Stage方法效果更好，将近6%的提升

• faster r cnner RCNN结构采用RPN区域提名后效果要比SS区域提名方法要好很多
• 训练数据的增加，对检测的效果有帮助

如果将框架中的基础网络部分替换荿Resnet101在COCO数据集上的效果能有进一步提升。

• 直接利用COCO上的训练结果去检测VOC的数据最终的mAP提高了很多，从69.9%提升到了73.2%【mAP】
  
  • 因为COCO的数据集種类包含VOC的所有类别
• 如果将COCO数据集和VOC数据集联合训练最终的效果更好78.8%

论文基于faster r cnn RCNN，提出了一种区域生成方法RPN：

• 消除了之前的SSES候选框提名的方法【之前的方法速度极慢】
• 有效的提高了检测效率，能够达到5fps【其中RPN需要10ms的时候】