分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 教程案例

Lenet5简记

发布时间:2023-09-06 02:10责任编辑:彭小芳关键词:暂无标签

再次学习Lenet5,这里进行一个简单的记录

问题定义:

    输入:32x32 灰度图片

    输出:0-9 数字识别结果

总共7层(不包含输入,包含输出层):

  输入-> 卷积->池化->卷积->池化->卷积->全连接->全连接输出

关键点:

   卷积核:为5x5

   padding:为0

   步长:为1

留意点:

   1.由于输入是灰度图像,可以认为通道数为1

   2.在第二个卷积中,进行了不同feature的组合,第三个卷积中,进行全部累加组合(类似于后来的卷积,在后来的卷积中,组合变成了通道)

(一)输入                                                                                               32x32

(二)第一层卷积 6个5x5 卷积核   padding为0,步长为1                    6个 28x28     (参数个数  6x5x5+6)

(三)第一层池化  2x2 池化,不重叠                                                    6个 14x14

(四)第二层卷积 16个 5x5 卷积核   padding为0,步长为1                 16个10x10  (这里进行了 3个、4个和6个的组合,总共16种情况, 其中,3个组合的6种,4个组合的9种,6个组合的1种)对应的参数为  (3x6+4x9+6x1)x5x5+16

(五)第二层池化 2x2 池化,不重叠                                                     16个 5x5

(六)第三层卷积  120个 5x5 卷积核   padding为0,步长为1              120个1x1   (这里中,每一个得到的1x1值都是16个卷积核卷积后加上1个偏置项得到的,所以参数个数为  (16x5x5+1)x120 )

(七)全连接1                                                                                         84              (参数 120x84+84)

(八)全连接2 这里原始论文使用rbf 单元 yi=sum((xj-wij)^2)            10               (参数  84x10)

   

在多说一点:

  在第二层卷积中,会发现进行了组合,但又不是想第三层卷积中的完全组合。原论文中对这种做法的原因进行了2点解释:

           a.为了使得连接数可控,个人理解还是为了减少参数

           b.为了打破对称性,让不同的feature map学习到一个不同的特征(因为他们的输入数据是不一样的)

上述大概就是Lenet5的一个简记了,对应的图解析,网上也很多,这里就简单贴一个:

https://blog.csdn.net/happyorg/article/details/78274066

可以看看上面的图

Lenet5简记

原文地址:https://www.cnblogs.com/youyouzaLearn/p/9473473.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved