本人为上海交通大学硕士研究生
曾就职于腾讯T10高级算法工程师,主功方向为深度学习、数字人
精通:深度学习、AIGC、文生图、图生图大模型研发
精通训练:Lora、DreamBooth、Controlnet、Ip-adatper类的控制StableDiffusion能力,能产生个性化文生图模型
精通:利用pytorch进行常用视觉分类、分割、检测任务
精通:数字人表情驱动、身体驱动算法研发再QQ中能体验到本人做的产品
精通语言:C++、python
训练平台:Tensorflow、Pytorch
项目一:
QQ虚拟主播,表情驱动部分负责人,只需要一个RGB摄像头即可让数字人达到活灵活现的表情驱动效果,收获大量粉丝,QQ主播中观看人数、粉丝数、打赏收入排名第一
项目二:
3D人脸重建,从算法研究、基于OpenGL开发3D人脸标注软件,算法封装、全部一人完成。另外开发了DNA 融合绑定算法改善不同形象之间表情迁移问题,此问题和ID、Pose、表情耦合一样都是业界难题,本人都有较好的解决方案和落地经验
项目三:
用户上传一张用户图即可获得高质量职业写真,相比于妙鸭生成真实度更高盲测用户满意度更高
根据用户输入的RGB图像甚至视频可以进行三维人脸重建,输出对应mesh,采用的方法为深度学习CNN神经网络架构,整个模型计算量只有35MFLOPS计算量,安卓旗舰机器只需要1ms推理时长。另外本人精通深度学习的各种任务、检测、分割、回归都有经验
本人利用StableDiffusio技术,采用Lora、Dreambooth、Controlnet等技术来控制Diffusion模型生成,从而将人脸信息通过注入到AIGC生成的照片中,本人可以输出comfy的workflow,也可输出批处理的api接口