项目描述:
项目背景:公司原先的报表系统的数据清洗都是基于oracle一体机,现数据量激增导致数据清洗 缓慢,且存储压力大(主要是扩容困难)
项目实施:采用新搭建的大数据平台,完成报表数据的数据清洗计算部分,再重新推回原报表数据 库,从而减轻计算压力,另将历史数据同步到大数据集群,开放hue分用户分资源查询,减轻数据 库存储压力
责任描述:
1、制定工作计划以及详细到人的任务分工
2、组织成员完成现有计算任务的梳理以及分类,分清主次
3、完成模板以及核心代码的编写,指导成员完成所有计算脚本的改造编写以及优化、测试
4、调度任务的部署,切换方案的制定