大数据采集中心

金融-理财 常富

大数据中心门户系统-采集中心 数据+应用开发 日期 2019.02—至今 描述:内容:在“互联网+”的背景下,原公司系统分六大部门,十多个模块,上百个关系型与非关系型数据库。其中各数据格式,业务类型,数据模型各有差异,系统变更快,传统ETL采集方式并不能满足反馈及时,变更及时等要求。大数据中心为及时数据同步,数据服务等要求,创新开发大数据采集中心。 工作内容: 1. 开发元数据管理模块及时同步元数据反映数据格式变化 2. 开发+设计数据采集模块,集成可配置化,可视化数据同步功能 3. 开发+设计数据服务模块,集成数据脱敏,数据分级分类,数据血统分析处理模块 业绩:申报-采...

大数据采集中心
大数据采集中心

分布式调度中心

金融-理财 常富

分布式调度平台是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。具有高可靠、海量任务、秒级别调度等能力 。采用全新的架构,是全新自研的分布式任务调度平台,不但解决了老产品的性能瓶颈,还提供了更多更快更强的能力 前后端使用技术:java,Nginx,Sprinboot,PHP,kafka,impala+kudu,mysql,spark,oracle ,H5 数据库选型参考:mysql,impala+kudu,oracle 主要负责产品设计,项目后端开发,产品框架设计,性能测试与调优,数据迁徙等相关工作...

分布式调度中心
分布式调度中心
分布式调度中心

大数据采集配置中心

金融-理财 常富

采集中心主要给用户提供可配置化、高性能、安全可靠、批管理、批监控管理数据融合与批管理、批监控管理服务,使用的采集中心离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、ElaticSearch、impala、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 主要使用技术:java, zookeeper,Nginx,keepalive,kafka,HTML5 数据库选型:oracle 主要负责:产品设计,原型图设计,项目管理,...

大数据采集配置中心
大数据采集配置中心
大数据采集配置中心
------ 加载完毕 ------
联系需求方端客服