项⽬描述: 针对 DMP 平台原有以 Spark Client ⽅式提交的离线任务进⾏优化。 责任描述: 1. 独⽴完成服务的架构设计、开发 2. 以 DB 为队列,通过建⽴⼀个调度表存放任务信息,通过接⼊⼀层 dispatcher 服务消费 DB 中的任务,以 Spark Cluster 的⽅式提交任务,并通过 YARN 接⼝实时检测任务的执⾏状态及时进⾏失败重试; 主要成果:⽬前已接⼊ 5 类 DMP 离线任务,⽇均任务 1500+,优化前平均等待时间 150 分钟+,优化后平均等 待时间 40 分钟+,缩短 110 分钟,效率提升近 2/3...
项⽬描述: 针对 DMP 平台原有以 Spark Client ⽅式提交的离线任务进⾏优化。 责任描述: 1. 独⽴完成服务的架构设计、开发 2. 以 DB 为队列,通过建⽴⼀个调度表存放任务信息,通过接⼊⼀层 dispatcher 服务消费 DB 中的任务,以 Spark Cluster 的⽅式提交任务,并通过 YARN 接⼝实时检测任务的执⾏状态及时进⾏失败重试; 主要成果:⽬前已接⼊ 5 类 DMP 离线任务,⽇均任务 1500+,优化前平均等待时间 150 分钟+,优化后平均等 待时间 40 分钟+,缩短 110 分钟,效率提升近 2/3...