2.简介:
基于一篇论文做视频人脸、表情识别(用pytoch,GPU),分别用到YoutubeFace人脸和CK+表情数据集。论文的网络模型NAN已有程序,在youtubeface上训练准确率到97%。
在此基础上加入一点改进:因为是视频识别,想加入动态特征,提取人脸视频的光流运动特征,再把提取的运动特征和原文用的静态特征融合,再进行识别,整体结构流程图在相关文档里。加入光流之后结果要有提高。
************其实需要写的就只有提光流、特征融合部分的代码,网上也基本都有,工作量主要在训练网络******************
3.功能需求:
提光流送到NAN,并融合特征进行识别,要求在youtubeface、CK+数据集上效果比原来不加光流有所提高,具体如下:
1)选择一种提光流的方法,具体方法自行选择,但不能太过简单,要跟我商量着来,效果要好。最好用比较新的高大上的效果好的提光流方法,比如flownet网络提光流(这个我有现成代码只是需要在我需要用的数据集上重新训练)。
2)提取出光流后再次送入原文的NAN网络中得到整个视频级的动态特征
3)将原文NAN输出的视频级静态特征,与光流送入NAN输出的视频级动态特征,进行特征融合,特征融合方法自行选择,用融合特征进行最后分类识别。
4)程序文档,要讲解清楚思路流程,数据处理,具体怎么训练的,过程中遇到的问题记录好。
ps:我自己还要用程序跑别的数据集,数据输入预处理部分代码要灵活
总之一句话,尽量做到加光流融合后结果要好,比不加光流有提高。