交通行业数据集市
项目描述:
为了提升研发人员对政企单位交通类需求的处理速度,部门领导决定在电信自有数据仓库基础上,根据交通行业客户的各类需求,开发对应的交通行业数据集市。包括职住、出行OD、通勤、人口分布等各类宽表。
整个集市以电信数据仓库为数据源,按照各主题需求,通过hive+spark的方式进行数据处理,生成对应的hive表。
集市项目部署在azkanban调度系统上,以事件依赖的形式依次触发并按天执行。
我的职责:
编写设计文档,主持设计评审;
优化OD算法,超速算法,出行算法等集市内核心算法;
支撑测试、平台等部门,协助程序测试及上线部署;
负责集市的版本更新和日常运营等。