关键词:
这里只举一个例子: Alexnet网络训练自己数据的过程
用AlexNet跑自己的数据 参考1:http://blog.csdn.net/gybheroin/article/details/54095399 参考2:http://www.cnblogs.com/alexcai/p/5469436.html 1,准备数据; 在caffe根目录下data文件夹新建一个文件夹,名字自己起一个就行了,我起的名字是food,在food文件夹下新建两个文件夹,分别存放train和val数据, 在train文件夹下存放要分类的数据toast, pizza等,要分几类就建立几个文件夹,分别把对应的图像放进去。(当然,也可以把所有的图像都放在一个文件夹下,只是在标签文件中标明就行)。 ./data (food) -> ./data/food (train val) -> ./data/food/train (pizza sandwich 等等) ./data/food/val (pizza sandwich 等等) 然后在food目录下生成建立train.txt和val.txt category.txt --- train.txt 和val.txt 内容类似为: toast/62.jpg 0 toast/107.jpg 0 toast/172.jpg 0 pizza/62.jpg 1 pizza/107.jpg 1 pizza/172.jpg 1 --- category.txt内容类似为: 0 toast 1 pizza 注:图片需要分两批:训练集(train)、测试集(test),一般训练集与测试集的比例大概是5:1以上,此外每个分类的图片也不能太少,我这里每个分类大概选了5000张训练图+1000张测试图。 2,lmdb制作(也可以不制作lmdb数据类型,需要在train的配置文件中data layer 的type改为:type: "ImageData" ###可以直接使用图像训练) 编译成功的caffe根目录下bin文件夹下有一个convert_imageset.exe文件,用来转换数据,在food文件夹下新建一个脚本文件create_foodnet.sh,内容参考example/imagenet/create_imagenet.sh #!/usr/bin/env sh # Create the imagenet lmdb inputs # N.B. set the path to the imagenet train + val data dirs set -e EXAMPLE=data/food # the path of generated lmdb data DATA=data/food # the txt path of train and test data TOOLS=build/tools TRAIN_DATA_ROOT=/path/to/imagenet/train/ # /path/to/imagenet/train/ VAL_DATA_ROOT=/path/to/imagenet/val/ # Set RESIZE=true to resize the images to 256x256. Leave as false if images have # already been resized using another tool. RESIZE=false if $RESIZE; then RESIZE_HEIGHT=256 RESIZE_WIDTH=256 else RESIZE_HEIGHT=0 RESIZE_WIDTH=0 fi if [ ! -d "$TRAIN_DATA_ROOT" ]; then echo "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT" echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to the path" \ "where the ImageNet training data is stored." exit 1 fi if [ ! -d "$VAL_DATA_ROOT" ]; then echo "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT" echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to the path" \ "where the ImageNet validation data is stored." exit 1 fi echo "Creating train lmdb..." GLOG_logtostderr=1 $TOOLS/convert_imageset \ --resize_height=$RESIZE_HEIGHT \ --resize_width=$RESIZE_WIDTH \ --shuffle \ $TRAIN_DATA_ROOT \ $DATA/train.txt \ $EXAMPLE/food_train_lmdb #生成的lmdb路径 echo "Creating val lmdb..." GLOG_logtostderr=1 $TOOLS/convert_imageset \ --resize_height=$RESIZE_HEIGHT \ --resize_width=$RESIZE_WIDTH \ --shuffle \ $VAL_DATA_ROOT \ $DATA/val.txt \ $EXAMPLE/food_val_lmdb #生成的lmdb路径 echo "Done." 3,mean_binary生成 下面我们用lmdb生成mean_file,用于训练 EXAMPLE=data/food DATA=data/food TOOLS=build/tools $TOOLS/compute_image_mean $EXAMPLE/food_train_lmdb $DATA/foodnet_mean.binaryproto 4,solver 和train网络修改 ------ Solver.prototxt详解: # 表示网络的测试迭代次数。网络一次迭代将一个batchSize的图片进行测试, # 所以为了能将validation集中所有图片都测试一次,这个参数乘以TEST的batchSize # 应该等于validation集中图片总数量。即test_iter*batchSize=val_num。 test_iter: 299 # 表示网络迭代多少次进行一次测试。一次迭代即一个batchSize的图片通过网络 # 正向传播和反向传播的整个过程。比如这里设置的是224,即网络每迭代224次即 # 对网络的准确率进行一次验证。一般来说,我们需要将训练集中所有图片都跑一 # 编,再对网络的准确率进行测试,整个参数乘以网络data层(TRAIN)中batchSize # 参数应该等于训练集中图片总数量。即test_interval*batchSize=train_num test_interval: 224 # 表示网络的基础学习率。学习率过高可能导致loss持续86.33333,也可能导致 # loss无法收敛等等问题。过低的学习率会使网络收敛慢,也有可能导致梯度损失。 # 一般我们设置为0.01 base_lr: 0.01 display: 20 max_iter: 6720 lr_policy: "step" gamma: 0.1 momentum: 0.9 #动量,上次参数更新的权重 weight_decay: 0.0001 stepsize: 2218 #每stpesize之后降低学习率 snapshot: 224 # 每多少次保存一次学习的结果。即caffemodel snapshot_prefix: "food/food_net/food_alex_snapshot" #快照路径和前缀 solver_mode: GPU net: "train_val.prototxt" # 网络结构的文件路径。 solver_type: SGD ----- train_val.prototxt 修改 ###### Data层为原图像格式。设置主要是data层不同(原图像作为输入) layer { name: "data" type: "ImageData" ###注意是ImageData,可以直接使用图像训练 top: "data" top: "label" include { phase: TRAIN } image_data_param { ### source: "examples/finetune_myself/train.txt" ### batch_size: 50 new_height: 256 ### new_width: 256 ### } ##### data层为lmdb格式.(制作的lmdb格式作为输入) layer { name: "data" type: "Data" ###这里是data,使用转换为lmdb的图像之后训练 top: "data" top: "label" include { phase: TRAIN } data_param { ### source: "examples/imagenet/car_train_lmdb"### batch_size: 256 backend: LMDB ### } 整个网络结构为: name: "AlexNet" layer { name: "data" type: "Data" top: "data" top: "label" include { phase: TRAIN } transform_param { mirror: true crop_size: 227 mean_file: "mimg_mean.binaryproto" #均值文件 } data_param { source: "mtrainldb" #训练数据 batch_size: 256 backend: LMDB } } layer { name: "data" type: "Data" top: "data" top: "label" include { phase: TEST } transform_param { mirror: false crop_size: 227 mean_file: "mimg_mean.binaryproto" #均值文件 } data_param { source: "mvaldb" #验证数据 batch_size: 50 backend: LMDB } } layer { name: "conv1" type: "Convolution" bottom: "data" top: "conv1" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } convolution_param { num_output: 96 kernel_size: 11 stride: 4 weight_filler { type: "gaussian" std: 0.01 } bias_filler { type: "constant" value: 0 } } } layer { name: "relu1" type: "ReLU" bottom: "conv1" top: "conv1" } layer { name: "norm1" type: "LRN" bottom: "conv1" top: "norm1" lrn_param { local_size: 5 alpha: 0.0001 beta: 0.75 } } layer { name: "pool1" type: "Pooling" bottom: "norm1" top: "pool1" pooling_param { pool: MAX kernel_size: 3 stride: 2 } } layer { name: "conv2" type: "Convolution" bottom: "pool1" top: "conv2" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } convolution_param { num_output: 256 pad: 2 kernel_size: 5 group: 2 weight_filler { type: "gaussian" std: 0.01 } bias_filler { type: "constant" value: 0.1 } } } layer { name: "relu2" type: "ReLU" bottom: "conv2" top: "conv2" } layer { name: "norm2" type: "LRN" bottom: "conv2" top: "norm2" lrn_param { local_size: 5 alpha: 0.0001 beta: 0.75 } } layer { name: "pool2" type: "Pooling" bottom: "norm2" top: "pool2" pooling_param { pool: MAX kernel_size: 3 stride: 2 } } layer { name: "conv3" type: "Convolution" bottom: "pool2" top: "conv3" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } convolution_param { num_output: 384 pad: 1 kernel_size: 3 weight_filler { type: "gaussian" std: 0.01 } bias_filler { type: "constant" value: 0 } } } layer { name: "relu3" type: "ReLU" bottom: "conv3" top: "conv3" } layer { name: "conv4" type: "Convolution" bottom: "conv3" top: "conv4" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } convolution_param { num_output: 384 pad: 1 kernel_size: 3 group: 2 weight_filler { type: "gaussian" std: 0.01 } bias_filler { type: "constant" value: 0.1 } } } layer { name: "relu4" type: "ReLU" bottom: "conv4" top: "conv4" } layer { name: "conv5" type: "Convolution" bottom: "conv4" top: "conv5" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } convolution_param { num_output: 256 pad: 1 kernel_size: 3 group: 2 weight_filler { type: "gaussian" std: 0.01 } bias_filler { type: "constant" value: 0.1 } } } layer { name: "relu5" type: "ReLU" bottom: "conv5" top: "conv5" } layer { name: "pool5" type: "Pooling" bottom: "conv5" top: "pool5" pooling_param { pool: MAX kernel_size: 3 stride: 2 } } layer { name: "fc6" type: "InnerProduct" bottom: "pool5" top: "fc6" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } inner_product_param { num_output: 4096 weight_filler { type: "gaussian" std: 0.005 } bias_filler { type: "constant" value: 0.1 } } } layer { name: "relu6" type: "ReLU" bottom: "fc6" top: "fc6" } layer { name: "drop6" type: "Dropout" bottom: "fc6" top: "fc6" dropout_param { dropout_ratio: 0.5 } } layer { name: "fc7" type: "InnerProduct" bottom: "fc6" top: "fc7" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } inner_product_param { num_output: 4096 weight_filler { type: "gaussian" std: 0.005 } bias_filler { type: "constant" value: 0.1 } } } layer { name: "relu7" type: "ReLU" bottom: "fc7" top: "fc7" } layer { name: "drop7" type: "Dropout" bottom: "fc7" top: "fc7" dropout_param { dropout_ratio: 0.5 } } layer { name: "fc8" type: "InnerProduct" bottom: "fc7" top: "fc8" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } inner_product_param { num_output: 2 #注意:这里需要改成你要分成的类的个数 weight_filler { type: "gaussian" std: 0.01 } bias_filler { type: "constant" value: 0 } } } layer { name: "accuracy" type: "Accuracy" bottom: "fc8" bottom: "label" top: "accuracy" include { phase: TEST } } layer { name: "loss" type: "SoftmaxWithLoss" bottom: "fc8" bottom: "label" top: "loss" } 运行以下脚本进行train #!/usr/bin/env sh set -e ./build/tools/caffe train \ --solver=food/food_alexnet/solver.prototxt 5、测试 同样,测试需要一个类别标签文件,category.txt,文件内容同上,修改deploy.prototxt 开始测试: ./bin/classification "food/foodnet/deploy.prototxt" "food/foodnet/food_iter_100000.caffemodel" "ming_mean.binaryproto" "test001.jpg" ------------------------------------ ---------------- FineTune: http://www.cnblogs.com/denny402/p/5074212.html http://www.cnblogs.com/alexcai/p/5469478.html 1,注意finetune的时候,最后一层的连接层的名字需要做修改,类别数需要修改,并且学习率应该比较大,因为只有这层的权值是重新训练的,而其他的都是已经训练好了的 2、开始训练的时候,最后制定的模型为将要finetune的模型 ./build/tools/caffe train -solver examples/money_test/fine_tune/solver.prototxt -weights models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel 其中model指定的是caffenet训练好的model。
caffe的学习和使用·一」--使用caffe训练自己的数据
学习知识的一种方式是先会用然后再问为什么。在安装完成caffe,根据caffe的提示下载完mnist训练测试数据,并且运行lenet训练模型之后,摆在眼前的问题就是我怎么用caffe训练自己的数据啊,mnist的数据通过脚本就可以下载创建成... 查看详情
如何使用 Spark 和 Caffe 对图像进行分类
】如何使用Spark和Caffe对图像进行分类【英文标题】:HowtoclassifyimagesusingSparkandCaffe【发布时间】:2016-03-0216:06:45【问题描述】:我是用Caffe做图像分类的,可以用MACOSX,Pyhton吗?现在我知道如何使用Caffe和Sparkpython对图像列表进行... 查看详情
caffe_ssd学习-用自己的数据做训练
...间各种错误辛酸不表,照着examples/imagenet/readme勉勉强强用自己的数据集把reference_caffenet训起来了,小笔记本的风扇又开始呼呼呼的转了。这个博客写的比较良心,怎么写shell也给了:http://blo 查看详情
5:使用caffe对自己的图像数据进行训练并测试
使用caffe对自己的图像数据进行训练并测试之前实践的一些步骤诸如数据集的准备、数据集的转换等过程都是为了训练我们所需要的模型进行铺垫,我们学习caffe的核心目的是使用caffe对我们自己的数据集进行训练,得到... 查看详情
caffe训练好的网络对图像分类
...:彩色or灰度图片 做minist下手写识别分类,不能直接使用,需去除均值图像,同时将输入图像像素归一化到0-1直接即可。 #include<caffe/caffe 查看详情
使用caffe的cifar10网络模型训练自己的图片数据
由于我涉及一个车牌识别系统的项目,计划使用深度学习库caffe对车牌字符进行识别。刚开始接触caffe,打算先将示例中的每个网络模型都拿出来用用,当然这样暴力的使用是不会有好结果的--|||,所以这里只是记录一下示例... 查看详情
windows10conda2使用caffe训练训练自己的数据
...用可行,https://www.cnblogs.com/MY0213/p/9225310.html1.数据源首先使用的数据集为人脸数据集,可在百度云自行下载:链接:https://pan.baidu.com/s/ 查看详情
caffe应用篇----文件格式转换
...们手中有的一般都是图片数据,jpg、bmp格式等,但caffe常使用的数据是db格式(leveldb/lmdb),因此首先我们要将自己数据转换成caffe可运行的格式文件。别捉鸡,caffe有给我们提供工具。根目录的tools文件下convert_imageset.cpp,经编译... 查看详情
如何在 caffe 中训练/测试我自己的数据集?
...和标签是(-1,+1)保存在data.mat中)。但是,我不太明白如何使用caffe来实现自己的数据集?有没有分步 查看详情
如何在 caffe 中训练/测试我自己的数据集?
...和标签是(-1,+1)保存在data.mat中)。但是,我不太明白如何使用caffe来实现自己的数据集?有没有分步 查看详情
使用pytorch框架自己制作做数据集进行图像分类(代码片段)
...读入图片数据1.引入相关库2.继承Dataset实现Mydataset子类3.使用glob方法获取文件夹中所有图片路径三、为图片制作标签,并划分训练集与测试集1.利用自定义类Mydataset创建对象weather_dataset2.为每张图片制作相应的标签3.完善Mydatase... 查看详情
caffe扩展实验
caffe实现caltech101图像分类这里讲述如何用自己的数据集,在caffe平台一步步实现的过程[新手参考];主要分为下面3个环节:数据集准备Datasetpreparationcaffe网络准备Caffenetworkfilespreparation从零开始训练和微调Fromscratchtrainingandfinetuning ... 查看详情
使用caffe进行多级和多标签图像分类(代码片段)
...什么颜色的?(上课)有领子吗?(标签)这个东西可以使用caffe吗?这样做的正确方法是什么?只是试图理解实用的方法..在创建包含图像的所有标签的2个.text文件(一个用于训练,一个用于验证)之后,例如:/train/img/1.png0418... 查看详情
怎样用自己的数据集对caffe训练好的model进行fineture
参考技术A建议使用已有model进行finetune,新手从头开始做经常会不收敛。进一步的话可以在现有的比较好的网络结构上进行修改,使之符合自己的需求。最难的就是从零开始设计训练网络模型。题主可以体验一下从零开始设计训... 查看详情
深度学习文章3:将自己的图像数据转换成caffe需要的db(leveldb/lmdb)文件
...往时图片文件,如jpg,jpeg,png等,然而在caffe中我们需要使用的数据类型是lmdb或leveldb,例如:在之前测试MNIST数据集《深度学习文章2:使用MNIST数据集验证Caffe是否安装成功》时,我们运行脚本create 查看详情
3:将自己的图像数据转换成caffe需要的db(leveldb/lmdb)文件(代码片段)
...xff0c;如jpg,jpeg,png等,然而在caffe中我们需要使用的数据类型是lmdb或leveldb,例如:在之前测试MNIST数据集《深度学习文章2:使用MNIST数据集验证Caffe是否安装成功》时,我们运行脚本create_mnist.sh就是生... 查看详情
使用caffe训练自己的cnn
现在有这样的一个场景:给你一张行人的矩形图片,要你识别出该行人的性别特侦。 分析:(1),行人的姿态各异,变化多端。很难提取图像的特定特征(2),正常人判别行人的根据是身材比例。(如果是冬天的情况... 查看详情
是否可以在没有任何训练的情况下使用 Caffe Only 进行分类?
】是否可以在没有任何训练的情况下使用CaffeOnly进行分类?【英文标题】:IsitpossibletouseCaffeOnlyforclassificationwithoutanytraining?【发布时间】:2016-07-2612:57:45【问题描述】:有些用户可能会将此视为基于意见的问题,但如果您仔细观... 查看详情