项目描述:
一套基于Python的Django 框架开发,只需简单页面配置就可完成数据从RDBMS数据库,多模 式下定时双向同步到hadoop的ETL工具,任意shell脚本定时调度,以及任务的修改查询监控等
责任描述:
1、技术框架的选型
2、产品的原型设计
3、主体功能的代码实现,目前主要包括(a、利用Django 的自定义管理页面实现配置数据库表的 元数据到hive再到本项目eds的后台数据库mysql;b、页面收集需要同步表的信息提交oozie的restful生成定时调度;c、给已经同步的表添加同步字段;d、已生成oozie任务的查询、修改任务时间等)
4、产品的后期优化以及继续开发