工程需要把外置的相机实时拍摄的120fps的内容导入unreal engine中(通过USB口)。使用神经网络模型把图像转换成视线落点的坐标。之后通过unreal中的蓝图去计算双眼视线的射线,用于推测视线聚焦点(视线看的具体地方),并且输出远或者近(是/否)的信息(1或者0)。最后把计算得出的交叉点坐标输出到外置的模块中(通过物理串口)。我方提供计算所需的c++代码,必要的插件(有需求的话我方提供)。
补充的:交互部分可以理解为,比如,场景中有两个距离远近不一的正方体。需要你在ue中实现通过视线交点的坐标数据让镜头聚焦在正确的正方体上。(视角请想象成第一人称的游戏。如果视线聚焦于远处的正方体那么远处的正方体变清晰(聚焦)近处的就会变模糊,聚焦近处的正方体的话远处就会变模糊。再比如把视线形容成一条肉眼可见的射线,双眼交叉的点穿过/触碰到某个正方体,该正方体就被判断为视线聚焦点。
需要交付的
1.可运行的交互ue程序
2.完整的工程源文件
3.类似使用说明的视频(文档也行)
外包开始时间:越快越好
需求:希望有Unreal Engine插件制作、神经网络模型使用、蓝图编辑、等相关项目经验,例如:在unreal中获取相机图像通过神经网络模型进行光学动捕(不通过Motive等中间软件;等等
时长和报价请在详细联系确认细节后报给我们(你来提供)
更详细的内容希望可以通过语音来聊(因为细节比较多)
我们在北京(因为涉及部分硬件相关,外地的话可能需要出差过来几趟(出差报销),本地的最好),具体的其他细节可以在语音中详谈。