2020.6 - 至今 基于眼动人机交互技术研究
该项目为硕士期间研究方向。视线追踪是一种实时追踪并记录眼球移动和注视位置的技术,是通过视觉信息分析人注意力的常用方法。应用场景为AR/VR的眼动交互控制,相信在不久取代手柄控制。作为基础的视线追踪算法,必解决问题是通过摄像头获取二维眼部图像进行瞳孔曲线的拟合,从而建立三维眼部模型,获取视线矢量,达到控制AR/VR虚拟场景如游戏等的控制功能。
在该项目中用到的基础算法利用红外摄像头获取眼部图像,对ROI区域进行Canny边缘检测,利用预设阀值获取深色区域的灰度直方图,过滤掉噪声,对深色区域进行K近邻边缘拟合,得到瞳孔椭圆。软件以Opencv/C++为主,搭配windows10+VS+红外光点阵滤可见光摄像头。