功能要求:
我们需要从手机前置摄像拍摄脸部,实时读取13~17个脸部关键点的动作位置,和头部的方向,然后经过处理,把每个点的动作转换成角度,通过蓝牙或串口输出这些数据数组。
采集效果类似iPhoneX的Animoji,或者参考app “活照片”
活照片这个app基本包含了我们所需要的所有功能,但我们不需要对图片做处理,而是需要输出脸部各个部位的角度变化
比如嘴巴完全闭上是0,完全张开是180,眼睛闭眼是0,瞪眼是180, 还有嘴角咧嘴是0,撅嘴是180,等等
项目要求:
单页或2~3个页面的APP,打开手机的前端摄像头,开始捕捉脸部动作,通过连接usb串口后发送数据。
(这里可以使用类似Face++的SDK,或者其他同类面部动作捕捉程序都可以)
摄像需要取得13~17个关键点的位移数据,
分别是,左右眉毛的高低位移,左右上下眼皮的位移,左右嘴角的前后上下位移,下巴的位移(嘴部张合),这是13~17个动作点,还有头部方向的前后左右。
这些数据采集到之后,算出一个相对转动角度,然后把这些数据通过蓝牙或串口传输一个数组。
[44, 44, 148, 148, 40, 40, 75, 92, 75, 92, 53 ]
类似这样的,每秒25帧输出数据。(不知道什么原因,目前蓝牙传输延迟严重,如果无法解决蓝牙延迟,可以用串口联usb)
其他要求:
APP带有麦克风收音并实时变音播放功能(如果不能实时变声就录播),功能同样参考“活照片”APP.
备注:
在目前程序上进行改进,目前已经有一个用于试验的app样品,但线程,算法,功能都有问题,采集数据时手机发热严重,而且无法达到实时传输的效果,而且采集的数据也经常错误,跳帧。
需要修改或从新写,需要达到“Animoji”或“活照片”的同等效果。