案例介绍
项⽬描述：
针对 DMP 平台原有以 Spark Client ⽅式提交的离线任务进⾏优化。
责任描述：
1. 独⽴完成服务的架构设计、开发
2. 以 DB 为队列，通过建⽴⼀个调度表存放任务信息，通过接⼊⼀层 dispatcher 服务消费 DB 中的任务，以 Spark Cluster 的⽅式提交任务，并通过 YARN 接⼝实时检测任务的执⾏状态及时进⾏失败重试；
主要成果：⽬前已接⼊ 5 类 DMP 离线任务，⽇均任务 1500+，优化前平均等待时间 150 分钟+，优化后平均等 待时间 40 分钟+，缩短 110 分钟，效率提升近 2/3
案例图片
相似案例推荐
其他人才的相似案例推荐
-
基于go-rod的自动化办公项目
该项目通过go-rod框架自动采集数据，根据后端逻辑自动完成
-
SMT自动分离不同模块物料
贴片公司贴片物料有多个模组，其中多个小模组（最多8个）在一个
-
数字化载荷仿真平台
责任描述： 使用Vue+Vuex完成项目的基础架构
-
Atom 货柜货架云端管理系统
Atom 货柜货架云端管理系统 开发环境：Window
-
后台管理系统
一、项目目标 提高管理效率：通过自动化和智能化的管理手
-
CRM客户合同管理系统
1. 【客户中台】签约主体、客户、代理商、代理商签约主体、商
-
数据中台
该项目为云原生数据中台，整体架构设计包括“离线数据开发”，“
-
广州GETShow会展软件平台
全面负责应用PC端，手机端，微信分享，H5页面，预约系统的开
-
广州GETShow会展软件平台
全面负责应用PC端，手机端，微信分享，H5页面，预约系统的开
-
销售数据分析整理生成图表
销售数据分析统计功能允许按产品型号、单价、销售额、销售日期等
-
广州GETShow会展软件平台
全面负责应用PC端，手机端，微信分享，H5页面，预约系统的开
-
无无无
事实上事实上少时诵诗书是撒是撒是撒是撒是撒是撒是撒是撒是撒是
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
接收人才推送
联系需求方端客服