双流网络学习
背景
视频天生就能提供很好的数据增强(同一个物体在不同时间会发生位移,形变等),但是早期视频动作识别采用从视频中抽取关键帧依次通过卷积网络或者先堆叠关键帧再进行整体训练.
采用单卷积对帧进行训练并不能很好的学到视频包含的运动信息,所以作者利用光流提出双流网络.
Spatial stream ConvNet负责学习空间信息.Temporal stream ConvNet负责学习时序信息.在最后进行fusion.
光流是一种很有效的获取动作信息的特征表示.
相邻几帧背景可以认为未发生移动
运动越明显的地方颜色越显眼.
但缺点也很明显,生成光流需要耗费很多时间以及极大的空间进行存储.
主要贡献
提出双流网络
证明即使在小数据集上通过光流也能获得很好的效果
通过在两个不同的数据集上训练骨干网络,模型效果得到了提升.
架构
Spatial stream ConvNet
可以单独数据集(比如ImageNet进行预训练)
通常来说在对某些场景只要识别到特定物品(弓箭,电脑等)就可以判定该行为了,效果确实也很好
Optical flow ConvNets
作者堆叠多帧光流进行预测,并采 ...
P3D阅读
主要贡献
提出一系列bottleneck构建块减少参数量加速学习
提出新型3D网络结构
I3D阅读
主要贡献
提出新的数据集(Kinetics),大小为ucf101,HMDB51的两倍.
提出基于3D(Inflated)卷积的双流网络(sota).直接利用效果好的2D网络进行扩充,变成3D网络(避免重新设计网络带来的的巨大工作量).
HMDB-51(80.9%) UCF-101(98.0%)
证明在大规模数据集上进行预训练的效果会很好.
模型结构
I3D之前存在的问题
由于数据匮乏导致网络无法过深(越深->参数越多->越容易过拟合)
ConvNet+LSTM
还是将视频作为图片进行训练,抽完所有特征后交给LSTM学习时序信息(效果差).
3D-ConvNet
将整个视频交给网络进行训练,参数量巨大,训练难度高.
Two-stream
网络很简单,要求低但效果好,光流学习动作信息,空间流学习空间信息.
3D-Fused Two-Stream ConvNet
对Two-stream一种改进,将最后的加权平均改为3D卷积进行late fusion.
Two-Stream 3D-ConvNet
作者对双流的改进,效果很好.
从2D引导而来的3D结构
将图片复制n次进行一个 ...
C3D阅读
a3a_3
a3