caffe绘制训练过程中的accuracy、loss曲线 - 竹馨shine的专栏 - CSDN博客
caffe绘制训练过程中的accuracy、loss曲线
机器学习与深度学习
训练模型并保存日志文件
& & & &首先建立一个训练数据的脚本文件train.sh，其内容如下，其中，2&&1&& | tee examples/mnist/mnist_train_log.log&是log日志文件的保存目录。
#!/usr/bin/env sh
TOOLS=./build/tools
$TOOLS/caffe train
--solver=examples/mnist/lenet_solver.prototxt 2&&1
| tee examples/mnist/mnist_train_log.log
训练完成后，会在examples/mnist文件夹下生成mnist_train_log.log日志
& & & &首先将文件夹caffe/tools/extra下的parse_log.sh 、extract_seconds.py、plot_training_log.py.example复制到上一步log日志文件的保存目录下。
然后，将plot_training_log.py.example改为plot_training_log.py，并执行以下命令就可以绘制曲线：
python plot_training_log.py 6 train_loss.png mnist_train_log.log
& & & & caffe支持多种曲线绘制，指定不同的类型参数即可，具体参数如下:
1. Supporting multiple logs.
2. Log file name must end with the lower-cased &.log&.
Supported chart types:
0: Test accuracy
1: Test accuracy
vs. Seconds
2: Test loss
3: Test loss
vs. Seconds
4: Train learning rate
5: Train learning rate
vs. Seconds
6: Train loss
7: Train loss
vs. Seconds
遇到的问题：
& & & &刚开始的时候发现类型参数为0-3的时候，可以正常绘制曲线，但是类型参数为4-7的时候，出现下面的错误：
解决方法：
& & & &打开生成的mnist_train_log.log.train文件后，发现确实是提取TrainingLoss数据有问题，如图1；后来按博客中的方法将parse_log.sh进行修改。对于parse-log.sh生成的文件mnist_train_log.log.train，caffe自带的parse-log.sh提取到的是第9列(第9个域)，也就是带S/10的那些数，我将它改成第13个域，也就是loss及=符号后的数，真正的loss在第13列，如图2、3。
& & & & & & & & & & & & & & & & & & & & & &图1
& & & & & & & & & & & & & & & & & & & & & &图2
& & & & & & & & & & & & & & & & & & & & & &图3
& & & &解决完上述问题后，类型参数为4-7的时候，还是不能绘制曲线，出现如下问题：IndexError:&list&index&out&of&range
解决方法：
& & & &群里大神帮忙找到问题了，原来是mnist_train_log.log.train中最后一行存在数据缺失问题，无奈，日志文件真的没有数据了，只能伪造一组数据了，如下图，红色圈中的就是我自己加的。但是，感觉这样做不好，关于这个问题，大家有遇到过没，怎么解决的，可以交流一下。
修改前的：
修改后的：
我的热门文章caffe+loss+accuracy,caffe中loss值不收敛,caffe loss计算,caffe loss曲线,caffe绘制loss,caffe怎样画loss曲线,caffe loss函数,caffe训练loss不收敛,caffe loss 层解析,caffe loss 1 #qnan,caffe下画 loss操作,caffe的test loss计算,caffe accuracy的计算,caffe accuracy layer,caffe loss值,caffe 画出loss曲线_知识库
如何在caffe中配置每一个层的结构_电脑基础知识_it计算机_专业资料。如何在 ...accuracy 用来计算输出和目标的正确率,事实上这不是一个 loss,而且没有 .........
caffe 网络结构几个部分简单介绍_计算机硬件及网络_it计算机_专业资料。下面这个...layer 的重要成员变量 loss vector loss_; 每一层又有一个 loss_值,.........
name: accuracy } } } bias_filler { type: constant ...layer {
} name: loss type: .........
读书笔记 1 cifar-10 在 caffe 上进行训练与学习 21 薛开宇本次学习...(learning rate),和 loss(训练损失函数) ,每 500 次 测试一次,输出 score ........
深度学习框架caffe的学习_计算机软件及应用_it计算机_专业资料。深度学习框架入门...loss = 14 00:40:4 solver.cpp:244] ........
读书笔记 1 cifar-10 在 caffe 上进行训练与学习 21 薛开宇本次学习...(learning rate),和 loss(训练损失函数) ,每 500 次 测试一次,输出 score ........
看到不断减少的 loss 和不 断上升 的 accuracy,训练结束你得到了 99+%的准确...理解并实现 backpropagation 这 个我觉得是与平台无关的,不管你是使用 caffe.........
loss = 4 solver.cpp:244] train net output #0: loss = 0588523 (* 1 = 0588523 loss) 4 caffe的应用实例——识别一张动物图片.........
(enum,和 c++中的 enum 一样) none = 0; accuracy = 1; bnll = 2; concat = 3; convolution = 4; data = 5; dropout = 6; euclidean_loss = 7;.........
caffe存储、通信、信息操作作为blobs。blob是标准阵列和统一内存 接口框架。blob用来存储数据、参数以及loss。 批量图像数据,blob常规容量是图像数n*通道数k*图像高h*.........
5 } } loss层:输出残差 softmax层:输出属于某类的概 率,一般用于验证和测试阶段, 这里的test表示验证阶段 layer { name: accuracy type: accuracy bot.........
softmaxlosslayer data diffs fc1 innerproductlayer data w diffs x data diffs y data diffs datalayer 图 3-1 caffe 数据结构 1 blob 的了解 caffe 中的.........
softmaxlosslayer data diffs fc1 innerproductlayer data w diffs x data diffs y data diffs datalayer 图 3-1 caffe 数据结构 1 blob 的了解 caffe 中的.........
nk regressed object a fast r-cnn network two outputs: boxes - caffe fork on github that adds two new layers (roipoolinglayer and smoothl1losslayer) .........
? ector loss_变量是存储每层网络的 loss,但是除了 loss layer 外,基 本上其他类型的层的 loss 都是 0。 基于 caffe::layer 类衍生出的类有很多.........
caffe模型是终端到终端的机器学习系统。一 个典型的网络开始于数据层,结束于loss...accuracy_param:输出top_k caffe 在手写识别的里的应用 ? 搭建基础模型 ? .........
caffe实例官微复制_计算机软件及应用_it计算机_专业资料。caffe caffe is a ...phase, score 0 is the accuracy, and score 1 is the testing loss .........
30 5 准确率 accuracy and top-k ......loss } 9 caffecn 深度学习社区 |
net::init()进行模型的初始化。初始化主要实现.........
? ? template
class losslayer : public layer 深度学习框架caffe学习与应用 第一版 讲师 罗韵 dataguru专业数据分析社区 (wechat:.........
读书笔记 4 学习搭建自己的网络 mnist 在 caffe 上进行训练与学习 ..ip2 } 然后是 loss 层,该 softmax_loss 层同时实现了 softmax 和多项 logi.........
■ 网友在搜参考博文：&在使用caffe训练数据，迭代次数非常大的时候，难免会想图形化展示实验结果。这样即便于训练过程中参数的调整，也便于最后成果的展示。
0. 需要的文件：
<span style="color: # caffe/tools/extra/parse_log.sh
<span style="color: # caffe/tools/extra/extract_seconds.py
<span style="color: # caffe/tools/extra/plot_training_log.py.example
1. 记录训练日志：
<span style="color: # GLOG_logtostderr=<span style="color: # GLOG_log_dir=Vgg-face/codes/Log/ \
<span style="color: # ./build/tools／caffe train \
<span style="color: #
--solver=Vgg-face/codes/solver.prototxt
在目录下新建文件夹Log
去掉通常脚本里面开头的#！usr/bin/env sh&否则Log文件夹里面啥都不会出现
<span style="color: # #!/bin/bash
<span style="color: # LOG=Vgg-face/Log/train-`date +%Y-%m-%d-%H-%M-%S`.log
<span style="color: # ./build/tools/caffe train \
<span style="color: #
--solver=Vgg-face/codes/solver.prototxt --gpu=<span style="color: # <span style="color: #&&<span style="color: # | tee $LOG
在目录下新建文件夹Log
此时将出现的文件名改为my.log&或者自己喜欢的名字，这个名字会出现在最后得到的图片里面。
2. 解析训练日志：
将开头提到的三个文件拷贝到Log文件夹里面。
<span style="color: # ./parse_log.sh my.log
参考博文的博主提到的&./parse_log.sh caffe.wujiyang-ubuntu.wujiyang.log&中的& caffe. &是所生成文件的文件名的一部分，不叫这个名字的童鞋，千万别在自己文件名前面?&caffe.&不然会报错。
此时会出现&my.log.train&和&my.log.test&两个文件，里面保存了提取出来的&seconds、loss、accuracy&信息。
3. 绘制图片：
<span style="color: # ./plot_training_log.py.example <span style="color: # save.png my.log
也可以将&plot_training_log.py.example&改为&plot_training_log.py&
<span style="color: # python plot_training_log.py 0 save.png my.log
0 为曲线类型
save.png为保存图片的文件名
my.log为上述所得日志
参数的含义：&
<span style="color: # Supported chart types:
<span style="color: # <span style="color: #: Test accuracy vs. Iters
<span style="color: # <span style="color: #: Test accuracy vs. Seconds
<span style="color: # <span style="color: #: Test loss vs. Iters
<span style="color: # <span style="color: #: Test loss vs. Seconds
<span style="color: # <span style="color: #: Train learning rate vs. Iters
<span style="color: # <span style="color: #: Train learning rate vs. Seconds
<span style="color: # <span style="color: #: Train loss vs. Iters
<span style="color: # <span style="color: #: Train loss vs. Seconds
4. 结果展示
阅读(...) 评论()用caffe训练网络进行分类时accuracy = 1，但是测试结果却是两类结果均为0.5？ - 知乎8被浏览1542分享邀请回答0添加评论分享收藏感谢收起caffe中做多标签训练，训练过程中accuracy一直不变? - 知乎26被浏览6095分享邀请回答214 条评论分享收藏感谢收起34 条评论分享收藏感谢收起查看更多回答1 个回答被折叠（）