faster-rcnn配置和训练小结
faster-rcnn配置和训练小结
论文：http://arxiv.org/abs/
1.准备工作
类似于fast-rcnn
http://blog.csdn.net/u/article/details/
2.安装（用于demo）
2.1&从github上clone到py-faster-rcnn的库。
git clone --recursive /rbgirshick/py-faster-rcnn.git
2.2建立模块
cd py-faster-rcnn/lib/
2.3&生成Caffe和pycaffe
cd $py-faster-rcnn/caffe-fast-rcnn
# Now follow the Caffe installation instructions here:
http://caffe.berkeleyvision.org/installation.html
# If you're experienced with Caffe and have all of the requirements installed
# and your Makefile.config in place, then simply do:
make -j8 && make pycaffe
2.4&下载Faster
RCNN检测器
cd $py-faster-rcnn
./data/scripts/fetch_faster_rcnn_models.sh
3.运行demo
如果报错可以看下是否支持vgg网络的显存以及demo里网络模型路径
py-faster-rcnn/
&&&./tools/demo.py
cd py-faster-rcnn/
&&&./tools/train_faster_rcnn_alt_opt.py
一些可能根据自己的需要所修改的地方：
./tools/train_faster_rcnn_alt_opt.py
parse_args()中weights的路径等参数,
最大迭代次数max_iters = [8, 8]
./lib/datasets
如果你的groundtruth和我一样并非xml文件，pascal_voc.py,imdb.py,factory.py修改成自己所需要的读入方式
如果有，可以照搬fast-rcnn的修改模式
./models/ZF/faster_rcnn_alt_opt
（我用的zf模型）
4个solver中的路径（默认的相对路径我报错后改成了绝对路径）
4个train文件中部分网络层的名字（微调，我改的是rpn和fast-rcnn的几个输出层）
2个test文件和train文件修改相对应
./lib/fast_rcnn
train.py 和test.py中些许参数名字和上一步的名字对应
感谢关注 Ithao123精品文库频道，是专门为互联网人打造的学习交流平台，全面满足互联网人工作与学习需求，更多互联网资讯尽在 IThao123!
Laravel是一套简洁、优雅的PHP Web开发框架(PHP Web Framework)。它可以让你从面条一样杂乱的代码中解脱出来；它可以帮你构建一个完美的网络APP，而且每行代码都可以简洁、富于表达力。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
产品设计是互联网产品经理的核心能力，一个好的产品经理一定在产品设计方面有扎实的功底，本专题将从互联网产品设计的几个方面谈谈产品设计
随着国内互联网的发展，产品经理岗位需求大幅增加，在国内，从事产品工作的大部分岗位为产品经理，其实现实中，很多从事产品工作的岗位是不能称为产品经理，主要原因是对产品经理的职责不明确，那产品经理的职责有哪些，本专题将详细介绍产品经理的主要职责
IThao123周刊&&国之画&&&& &&&&&&
&& &&&&&&&&&&&&&&
鲁ICP备号-4
打开技术之扣，分享程序人生！27993人阅读
caffe（24）
Deep Learning（7）
说明：本博文假设你已经做好了自己的数据集，该数据集格式和VOC2007相同。下面是训练前的一些修改。
（做数据集的过程可以看）
Faster-RCNN源码下载地址：
Matlab版本：
python版本:
本文用到的是Matlab版本，在Windows下运行。
python版本的训练过程：
资源下载：，网页最后有所有的资源。
准备工作：
安装vs2013；
安装Matlab；
安装CUDA；
上面的安装顺序最好不要乱，否则可能出现Matlab找不到vs的情况，在Matlab命令行窗口输入：mbuild -setup，如果出现：
说明Matlab可以找到vs2013。CUDA应在安装vs2013后再安装。
如果你的cuda是6.5，那么，运行一下：
fetch_data/fetch_caffe_mex_windows_vs2013_cuda65.m
（运行代码下载失败的话，用百度云下载：& ，解压到faster_rcnn-master下）
得到mex文件。如果不是cuda6.5（如我的是cuda7.5），则需要自己编译mex文件，编译过程参考这里：，按步骤做就行了。
也可以下载我编译得到的文件（注意cuda版本）。
下载地址：
建议还是自己编译，因为版本问题可能会出错。在训练前，可以先下载作者训练好的模型，测试一下，如果可以的话，就不用自己编译了。
测试过程：
（1）运行faster_rcnn-master\faster_rcnn_build.m
&（2）运行faster_rcnn-master\startup.m
（3）运行faster_rcnn-master\fetch_data\fetch_faster_rcnn_final_model.m &下载训练好的模型
（下载失败的话，可以用百度云下载：&，解压到faster_rcnn-master下）
（4）修改faster_rcnn-master\experiments\script_faster_rcnn_demo.m的model_dir为你下载的模型，然后运行。
最终得到：
在训练前请确保你的路径faster_rcnn-master\external\caffe\matlab\caffe_faster_rcnn下有以下文件：
（我的opencv版本是2.4.9，cuda版本是7.5，因版本不同上述文件和你的编译结果可能会有差异。+caffe文件夹是从caffe-master或caffe-faster-R-CNN里拷贝过来的。）
如果你没有按上面说的测试过，请先运行：
（1）faster_rcnn-master\faster_rcnn_build.m
（2）faster_rcnn-master\startup.m
然后再进行下面的修改。
1 、VOCdevkit2007\VOCcode\VOCinit.m的修改
（1）路径的修改
VOCopts.annopath=[VOCopts.datadir VOCopts.dataset '/Annotations/%s.xml'];
VOCopts.imgpath=[VOCopts.datadir VOCopts.dataset '/JPEGImages/%s.jpg'];
VOCopts.imgsetpath=[VOCopts.datadir VOCopts.dataset '/ImageSets/Main/%s.txt'];
VOCopts.clsimgsetpath=[VOCopts.datadir VOCopts.dataset '/ImageSets/Main/%s_%s.txt'];
VOCopts.clsrespath=[VOCopts.resdir 'Main/%s_cls_' VOCopts.testset '_%s.txt'];
VOCopts.detrespath=[VOCopts.resdir 'Main/%s_det_' VOCopts.testset '_%s.txt'];
上面这些路径要正确，第一个是xml标签路径；第二个是图片的路径；第三个是放train.txt、val.txt、test.txt和trainval.txt的路径；第四、五、六个不需要；一般来说这些路径不用修改，你做的数据集格式和VOC2007相同就行。（图片格式默认是jpg，如果是png，修改上面第二行的代码即可。）
（2）训练集文件夹修改
VOCopts.dataset = '你的文件夹名';
然后将VOC2007路径注释掉，上面“你的文件夹名”是你放Annotations、ImageSets、JPEGImages文件夹的文件夹名。
（3）标签的修改
VOCopts.classes={...
'你的标签1'
'你的标签2'
'你的标签3'
'你的标签4'};将其改为你的标签。
2 、VOCdevkit2007\results
results下需要新建一个文件夹，名字是1. (2)中“你的文件夹名”。“你的文件夹名”下新建一个Main文件夹。(因为可能会出现找不到文件夹的错误)
3 、VOCdevkit2007\local
local下需要新建一个文件夹，名字是1. (2)中“你的文件夹名”。（同上）
4 、function\fast_rcnn\fast_rcnn_train.m
ip.addParamValue('val_iters',
@isscalar);
ip.addParamValue('val_interval',
@isscalar);
可能在randperm(N,k)出现错误，根据数据集修改。（VOC2007中val有2510张图像，train有2501张，作者将val_iters设为500，val_interval设为2000，可以参考作者的设置修改，建议和作者一样val_iters约为val的1/5，val_interval不用修改）
5、function\rpn\proposal_train.m
这里的问题和fast_rcnn_train.m一样。
6.imdb\imdb_eval_voc.m
%do_eval = (str2num(year) &= 2007) | ~strcmp(test_set,'test');
do_eval = 1;注释掉do_eval = (str2num(year) &= 2007) | ~strcmp(test_set,'test');并令其为1，否则测试会出现精度全为0的情况
7.&imdb\roidb_from_voc.m
ip.addParamValue('exclude_difficult_samples',
@islogical);不包括难识别的样本，所以设置为true。(如果有就设置为false)
8.网络模型的修改
（1） models\ fast_rcnn_prototxts\ZF\ train_val.prototxt
input: &bbox_targets&
input_dim: 1
# to be changed on-the-fly to match num ROIs
input_dim: 84 # 根据类别数改，该值为（类别数+1）*4
#################
input_dim: 1
input_dim: 1
input: &bbox_loss_weights&
input_dim: 1
# to be changed on-the-fly to match num ROIs
input_dim: 84 # 根据类别数改，该值为（类别数+1）*4
############
input_dim: 1
input_dim: 1
bottom: &fc7&
top: &cls_score&
name: &cls_score&
lr_mult: 1.0
lr_mult: 2.0
type: &InnerProduct&
inner_product_param {
num_output: 21 #根据类别数改该值为类别数+1
bottom: &fc7&
top: &bbox_pred&
name: &bbox_pred&
type: &InnerProduct&
lr_mult: 1.0
lr_mult: 2.0
inner_product_param {
num_output: 84
#根据类别数改，该值为（类别数+1）*4
##########
（2） models\ fast_rcnn_prototxts\ZF\ test.prototxt
bottom: &fc7&
top: &cls_score&
name: &cls_score&
lr_mult: 1.0
lr_mult: 2.0
type: &InnerProduct&
inner_product_param {
num_output: 21
##########
bottom: &fc7&
top: &bbox_pred&
name: &bbox_pred&
type: &InnerProduct&
lr_mult: 1.0
lr_mult: 2.0
inner_product_param {
num_output: 84
#4*(类别数+1)
##########
（3） models\ fast_rcnn_prototxts\ZF_fc6\ train_val.prototxt
input: &bbox_targets&
input_dim: 1
# to be changed on-the-fly to match num ROIs
input_dim: 84 # 4*(类别数+1)
###########
input_dim: 1
input_dim: 1
input: &bbox_loss_weights&
input_dim: 1
# to be changed on-the-fly to match num ROIs
input_dim: 84 # 4*(类别数+1)
###########
input_dim: 1
input_dim: 1
bottom: &fc7&
top: &cls_score&
name: &cls_score&
lr_mult: 1.0
lr_mult: 2.0
type: &InnerProduct&
inner_product_param {
num_output: 21 #类别数+1
############
bottom: &fc7&
top:&bbox_pred&
name:&bbox_pred&
type:&InnerProduct&
lr_mult:1.0
lr_mult:2.0
inner_product_param{
num_output: 84
#4*（类别数+1）
###########
（4） models\ fast_rcnn_prototxts\ZF_fc6\ test.prototxt
bottom: &fc7&
top: &cls_score&
name: &cls_score&
lr_mult: 1.0
lr_mult: 2.0
type: &InnerProduct&
inner_product_param {
num_output: 21
类别数+1 #######
bottom: &fc7&
top: &bbox_pred&
name: &bbox_pred&
type: &InnerProduct&
lr_mult: 1.0
lr_mult: 2.0
inner_product_param {
num_output: 84
#4*（类别数+1） ##########
9.solver的修改
solver文件有3个，默认使用的solver是solver_30k40k.prototxt，如下stage 1 rpn，可以在faster_rcnn-master\experiments\+Model\ZF_for_Faster_RCNN_VOC2007.m中更换。
model.stage1_rpn.solver_def_file
= fullfile(pwd, 'models', 'rpn_prototxts', 'ZF', 'solver_30k40k.prototxt');%solver_60k80k.prototxt
model.stage1_rpn.test_net_def_file
= fullfile(pwd, 'models', 'rpn_prototxts', 'ZF', 'test.prototxt');
model.stage1_rpn.init_net_file
= model.pre_trained_net_
！！！为防止与之前的模型搞混,训练前把output文件夹删除（或改个其他名），还要把imdb\cache中的文件删除（如果有的话）
更为简便的方法是直接用你的数据集的Annotations、ImageSets、JPEGImages文件夹替换VOC2007对应文件夹，那么上面只需进行1.（3）、4、5、7、8的修改。
10.开始训练
（1）.下载预训练的ZF模型：fetch_data/fetch_model_ZF.m
（下载失败的话用百度云下载：&，解压到faster_rcnn-master下，预训练模型参数用于初始化）
（2）.运行：
experiments/script_faster_rcnn_VOC2007_ZF.m
经过一会的准备工作，就进入迭代了：
11.训练完后
训练完后，不要急着马上测试，先打开output/faster_rcnn_final/faster_rcnn_VOC2007_ZF文件夹，打开detection_test.prototxt，作如下修改：
将relu5（包括relu5）前的层删除，并将roi_pool5的bottom改为data和rois。并且前面input: &data&下的input_dim:分别改为1,256,50,50(如果是VGG就是1,512,50,50,其他修改基本一样)，具体如下
input: &data&
input_dim: 1
input_dim: 256
input_dim: 50
input_dim: 50
# ------------------------ layer 1 -----------------------------
bottom: &data&
bottom: &rois&
top: &pool5&
name: &roi_pool5&
type: &ROIPooling&
roi_pooling_param {
pooled_w: 6
pooled_h: 6
spatial_scale: 0.0625
训练完成后，打开\experiments\script_faster_rcnn_demo.m，将模型路径改成训练得到的模型路径：
= fullfile(pwd, 'output', 'faster_rcnn_final', 'faster_rcnn_VOC2007_ZF')
将测试图片改成你的图片：
im_names = {'001.jpg', '002.jpg', '003.jpg'};注意：
& & & &&如果你的数据集类别比voc2007数据集多，把script_faster_rcnn_demo.m中的showboxes(im, boxes_cell, classes, 'voc')作如下修改：
showboxes(im, boxes_cell, classes);或者：
showboxes(im, boxes_cell, classes, 'default');即去掉‘voc’或将其改为‘default’。
如果测试发现出现的框很多，且这些框没有目标，可以将阈值设高一些（默认是0.6）：
thres = 0.9;
结果如下：


参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：129908次
积分：1952
积分：1952
排名：第16336名
原创：69篇
转载：18篇
评论：772条
(1)(5)(7)(6)(2)(7)(12)(3)(10)(10)(10)(17)