分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 网页技术

Multi-Fiber Networks for Video Recognition (MFNet)

发布时间:2023-09-06 02:18责任编辑:傅花花关键词:暂无标签

Motivation:减少时空网络的计算量,保持视频分类精度上的基础上,使得速度尽可能接近对应网络的2D版本。

为此提出 Multi-Fiber 网络,将复杂网络拆分成轻量网络的集成,利用 fibers 间的信息流引入多路器模块。

Result:比I3D和R(2+1)D分别少9倍,13倍的计算量,但精度更高,UCF-101, HMDB-51 and Kinetics 上的 state of the art。

2D网络需要10s GFLOP来处理单帧,3D网络需要100s GFLOP处理一个clip,作者认为3D网络有能力进一步提高因为融入了时空信息。

与Du tran和xie sai ning提出的R(2+1)D和S3D用1x3x3, 3x1x1时空分解卷积替代3x3x3这种做法不同,以上两种方法很难在实际应用,因为相对他们的2D版本有数量级的复杂度,受low-power MobileNet-v2网络的启发以及通过分组卷积稀疏化做法的启发,作者提出稀疏连接结构,

作者提出multi-fibers结构并在2D CNN图片分类上实验确认结构的有效性,后扩展为时空CNN

(a) resnet block (b) resNeXet block (c) fibers(author) (d) 加入multiplexer 传递不同fiber间信息 (e) 两个线性层降维和升维

Multi-Fiber Networks 

Multi-Fiber Networks for Video Recognition (MFNet)

原文地址:https://www.cnblogs.com/demian/p/9795309.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved