caffe的python接口生成配置文件学习

 更新时间:2022年06月29日 10:26:33   作者:denny402  
这篇文章主要介绍了caffe的python接口生成配置文件学习,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

引言

caffe是C++语言写的,可能很多人不太熟悉,因此想用更简单的脚本语言来实现。caffe提供matlab接口和python接口,这两种语言就非常简单,而且非常容易进行可视化,使得学习更加快速,理解更加深入。

半年前,我在学习CAFFE的时候,为了加深理解,因此写下了随笔,有了一系列的caffe学习文章。半年过去,很多人问到关于python接口和可视化的一些问题,现在有点空闲时间,就再次写下一些随笔,大家一起来学习。有些重复的内容,我就不再多讲,如果大家有兴趣可移步:

如何配置CAFFE的python接口?

如何将图片转换成LMDB文件?

如何计算训练数据的均值文件?

以上这些操作都是训练之前的预处理操作,不管是用什么接口,都要用到。

如何写配置文件

首先,我们需要掌握的,就是如何写配置文件,通过下面的代码来学习:

# -*- coding: utf-8 -*-
"""
Spyder Editor
"""
from caffe import layers as L,params as P,to_proto
path='/home/xxx/data/'                    #保存数据和配置文件的路径
train_lmdb=path+'train_db'                #训练数据LMDB文件的位置
val_lmdb=path+'val_db'                    #验证数据LMDB文件的位置
mean_file=path+'mean.binaryproto'         #均值文件的位置
train_proto=path+'train.prototxt'         #生成的训练配置文件保存的位置
val_proto=path+'val.prototxt'             #生成的验证配置文件保存的位置
#编写一个函数,用于生成网络
def create_net(lmdb,batch_size,include_acc=False):
    #创建第一层:数据层。向上传递两类数据:图片数据和对应的标签
    data, label = L.Data(source=lmdb, backend=P.Data.LMDB, batch_size=batch_size, ntop=2,
        transform_param=dict(crop_size=40,mean_file=mean_file,mirror=True))
    #创建第二屋:卷积层
    conv1=L.Convolution(data, kernel_size=5, stride=1,num_output=16, pad=2,weight_filler=dict(type='xavier'))
    #创建激活函数层
    relu1=L.ReLU(conv1, in_place=True)
    #创建池化层
    pool1=L.Pooling(relu1, pool=P.Pooling.MAX, kernel_size=3, stride=2)
    conv2=L.Convolution(pool1, kernel_size=3, stride=1,num_output=32, pad=1,weight_filler=dict(type='xavier'))
    relu2=L.ReLU(conv2, in_place=True)
    pool2=L.Pooling(relu2, pool=P.Pooling.MAX, kernel_size=3, stride=2)
    #创建一个全连接层
    fc3=L.InnerProduct(pool2, num_output=1024,weight_filler=dict(type='xavier'))
    relu3=L.ReLU(fc3, in_place=True)
    #创建一个dropout层
    drop3 = L.Dropout(relu3, in_place=True)
    fc4 = L.InnerProduct(drop3, num_output=10,weight_filler=dict(type='xavier'))
    #创建一个softmax层
    loss = L.SoftmaxWithLoss(fc4, label)
    if include_acc:             #在训练阶段,不需要accuracy层,但是在验证阶段,是需要的
        acc = L.Accuracy(fc4, label)
        return to_proto(loss, acc)
    else:
        return to_proto(loss)
def write_net():
    #将以上的设置写入到prototxt文件
    with open(train_proto, 'w') as f:
        f.write(str(create_net(train_lmdb,batch_size=64)))
    #写入配置文件    
    with open(val_proto, 'w') as f:
        f.write(str(create_net(val_lmdb,batch_size=32, include_acc=True)))
if __name__ == '__main__':
    write_net()

通过上面这个文件的执行,我们就会得到两个配置文件:train.prototxt和val.prototxt,分别用于训练阶段和验证阶段。

图片转换成LMDB文件

这种方式生成配置文件,必须有个前提,就是要先把原始图片转换成LMDB文件才行。如果我们已经把原始图片做成了一个列表清单(txt文件,一行一张图片),则可以不用LMDB格式作为输入数据,可以用ImageData作为数据源输入,代码如下:

# -*- coding: utf-8 -*-
from caffe import layers as L,params as P,to_proto
path='/home/xxx/data/'
train_list=path+'train.txt'
val_list=path+'val.txt'           
train_proto=path+'train.prototxt'   
val_proto=path+'val.prototxt'       
def create_net(img_list,batch_size,include_acc=False):
    data,label=L.ImageData(source=img_list,batch_size=batch_size,new_width=48,new_height=48,ntop=2,
                           transform_param=dict(crop_size=40,mirror=True))
    conv1=L.Convolution(data, kernel_size=5, stride=1,num_output=16, pad=2,weight_filler=dict(type='xavier'))
    relu1=L.ReLU(conv1, in_place=True)
    pool1=L.Pooling(relu1, pool=P.Pooling.MAX, kernel_size=3, stride=2)
    conv2=L.Convolution(pool1, kernel_size=53, stride=1,num_output=32, pad=1,weight_filler=dict(type='xavier'))
    relu2=L.ReLU(conv2, in_place=True)
    pool2=L.Pooling(relu2, pool=P.Pooling.MAX, kernel_size=3, stride=2)
    conv3=L.Convolution(pool2, kernel_size=53, stride=1,num_output=32, pad=1,weight_filler=dict(type='xavier'))
    relu3=L.ReLU(conv3, in_place=True)
    pool3=L.Pooling(relu3, pool=P.Pooling.MAX, kernel_size=3, stride=2)
    fc4=L.InnerProduct(pool3, num_output=1024,weight_filler=dict(type='xavier'))
    relu4=L.ReLU(fc4, in_place=True)
    drop4 = L.Dropout(relu4, in_place=True)
    fc5 = L.InnerProduct(drop4, num_output=7,weight_filler=dict(type='xavier'))
    loss = L.SoftmaxWithLoss(fc5, label)
    if include_acc:             
        acc = L.Accuracy(fc5, label)
        return to_proto(loss, acc)
    else:
        return to_proto(loss)
def write_net():
    #
    with open(train_proto, 'w') as f:
        f.write(str(create_net(train_list,batch_size=64)))
    #    
    with open(val_proto, 'w') as f:
        f.write(str(create_net(val_list,batch_size=32, include_acc=True)))
if __name__ == '__main__':
    write_net()

 即第一层由原来的Data类型,变成了ImageData类型,不需要LMDB文件和均值文件,但需要一个txt文件。

以上就是caffe的python接口生成配置文件学习的详细内容,更多关于caffe python接口生成配置文件的资料请关注脚本之家其它相关文章!

相关文章

  • python中的 sorted()函数和sort()方法区别

    python中的 sorted()函数和sort()方法区别

    这篇文章主要介绍了python中的 sorted()函数和sort()方法,首先看sort()方法,sort方法只能对列表进行操作,而sorted可用于所有的可迭代对象。具体内容需要的小伙伴可以参考下面章节
    2022-02-02
  • TensorFlow基本的常量、变量和运算操作详解

    TensorFlow基本的常量、变量和运算操作详解

    今天小编就为大家分享一篇TensorFlow基本的常量、变量和运算操作详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • Python使用SciPy库的插值方法及示例详解

    Python使用SciPy库的插值方法及示例详解

    SciPy是一个基于NumPy构建的Python模块,它集成了多种数学算法和函数,这篇文章主要为大家详细介绍了如何使用SciPy库实现插值,需要的可以了解下
    2024-03-03
  • Python中一个for循环循环多个变量的示例

    Python中一个for循环循环多个变量的示例

    今天小编就为大家分享一篇Python中一个for循环循环多个变量的示例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • python做翻译软件详解,小白也看得明白

    python做翻译软件详解,小白也看得明白

    这篇文章主要介绍了怎么样用python做的翻译软件,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-08-08
  • Python Numpy 实现交换两行和两列的方法

    Python Numpy 实现交换两行和两列的方法

    今天小编就为大家分享一篇Python Numpy 实现交换两行和两列的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-06-06
  • Django模型序列化返回自然主键值示例代码

    Django模型序列化返回自然主键值示例代码

    这篇文章主要给大家介绍了关于Django模型序列化返回自然主键值的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Django具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-06-06
  • 如何设置PyCharm中的Python代码模版(推荐)

    如何设置PyCharm中的Python代码模版(推荐)

    这篇文章主要介绍了如何设置PyCharm中的Python代码模版,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-11-11
  • Python警察与小偷的实现之一客户端与服务端通信实例

    Python警察与小偷的实现之一客户端与服务端通信实例

    这篇文章主要介绍了Python警察与小偷的实现之一客户端与服务端通信实例,并附有难点及易错点的分析与说明,需要的朋友可以参考下
    2014-10-10
  • PyTorch中apex安装方式和避免踩坑

    PyTorch中apex安装方式和避免踩坑

    本文主要介绍了PyTorch中apex安装方式和避免踩坑,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-07-07

最新评论