大数据中心门户系统-采集中心 数据+应用开发 日期 2019.02—至今 描述:内容:在“互联网+”的背景下,原公司系统分六大部门,十多个模块,上百个关系型与非关系型数据库。其中各数据格式,业务类型,数据模型各有差异,系统变更快,传统ETL采集方式并不能满足反馈及时,变更及时等要求。大数据中心为及时数据同步,数据服务等要求,创新开发大数据采集中心。 工作内容: 1. 开发元数据管理模块及时同步元数据反映数据格式变化 2. 开发+设计数据采集模块,集成可配置化,可视化数据同步功能 3. 开发+设计数据服务模块,集成数据脱敏,数据分级分类,数据血统分析处理模块 业绩:申报-采...
采集中心主要给用户提供可配置化、高性能、安全可靠、批管理、批监控管理数据融合与批管理、批监控管理服务,使用的采集中心离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、ElaticSearch、impala、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 主要使用技术:java, zookeeper,Nginx,keepalive,kafka,HTML5 数据库选型:oracle 主要负责:产品设计,原型图设计,项目管理,...