报表平台迁移项目

金融-第三方支付 单弦喑

项目描述: 项目背景:公司原先的报表系统的数据清洗都是基于oracle一体机,现数据量激增导致数据清洗 缓慢,且存储压力大(主要是扩容困难) 项目实施:采用新搭建的大数据平台,完成报表数据的数据清洗计算部分,再重新推回原报表数据 库,从而减轻计算压力,另将历史数据同步到大数据集群,开放hue分用户分资源查询,减轻数据 库存储压力 责任描述: 1、制定工作计划以及详细到人的任务分工 2、组织成员完成现有计算任务的梳理以及分类,分清主次 3、完成模板以及核心代码的编写,指导成员完成所有计算脚本的改造编写以及优化、测试 4、调度任务的部署,切换方案的制定...

报表平台迁移项目
报表平台迁移项目

自主项目EDS开发

企业服务-数据服务 单弦喑

项目描述: 一套基于Python的Django 框架开发,只需简单页面配置就可完成数据从RDBMS数据库,多模 式下定时双向同步到hadoop的ETL工具,任意shell脚本定时调度,以及任务的修改查询监控等 责任描述: 1、技术框架的选型 2、产品的原型设计 3、主体功能的代码实现,目前主要包括(a、利用Django 的自定义管理页面实现配置数据库表的 元数据到hive再到本项目eds的后台数据库mysql;b、页面收集需要同步表的信息提交oozie的restful生成定时调度;c、给已经同步的表添加同步字段;d、已生成oozie任务的查询、修改任务时间等) 4、产品的...

自主项目EDS开发
自主项目EDS开发
自主项目EDS开发
------ 加载完毕 ------
联系需求方端客服