一、需求描述:
微软的deepspeed(https://www.deepspeed.ai/)是一个高性能分布式神经网络训练系统。其实现了数据并行,模型并行,pipeline三种并行训练算法(https://www.deepspeed.ai/tutorials/pipeline/)。希望开发者阅读理解pipeline并行的实现方式给我讲解(当前代码基于pytorch,未来可能需要用tensorflow重新实现)。
二、人才要求:
熟悉pytorch,tensorflow开发。有神经网络分布式训练经验优先。
三、合作方式:
开发方式:远程开发。
开发周期:小于10天