1. 熟悉深度学习/机器学习经典算法,熟悉图像处理/计算机学习领域关键算法,熟悉图像生成、了解目标检测、图像分割,3D重建等。
2. 熟悉Pytorch/Tensorflow等深度学习框架,能够快速进行论文复现和工程实现。
3. 熟悉C++、Python等编程语言,熟悉Linux环境
5. 具备良好的英文阅读/写作能力,能够快速针对特定领域进行文献调研。
1. 基于生成对抗网络的多样性黑白自动图像上色
提出了一种基于GAN的多样性图像上色模型,首先引入隐码三元组归一化约束生成的多样性上色结果的相似性, 提高了图像上色的多样性;其次,利用初始上色网络提取深度颜色先验,用以动态地调制多样性上色的生成过程,减少色彩 复原后的伪影,提高生成图像质量。相关成果已发表至CCF B类会议ICME2022,本人为第一作者。
2. 黑白自动图像上色
针对图像上色的色彩不一致问题,提出一种局部金字塔注意力模块,该模块利用多尺度特征在较低的参数量下对 像素的长程依赖进行建模,提高色彩复原的连贯性;其次,利用语义信息作为先验知识,以空间自适应的方式来调整颜色通 道的预测,鼓励更真实、饱和的颜色预测。相关成果已发表至CCF BigData2021会议,本人为第一作者。
3. 基于神经辐射场的视线估计数据合成
职责:视线估计数据处理、视线数据生成模型的建模与优化,视线估计任务有效性验证,文献调研,论文撰写。
针对视线估计任务在数据采集上的困难、视线估计模型在跨域性能不佳的问题,提出了一种基于神经辐射场(NeRF) 的视线数据 生成模型。该模型通过视线特征解耦实现了头部姿态和视线方向的控制;同时在NeRF的场景隐式函数中嵌入人脸的面部属性,实现身份、 面部光照的操纵。实验证明所提出的模型在视线估计域泛化(domain generalization)和域适应(domain adaption)上的有效性。