技术:Java ,Scala ,Oracle,hive,spark, springboot
1.负责搭建CDH大数据基础环境,并负责其相应运维,优化
2. 负责开发设计大数据中心调度中心,基于微服务应用门户系统集成元数据管理,采集配置服务,监控服务器,任务执行器相关功能
3. 负责对接业务系统数据JDBC采集工作,参与数据仓库ODS层模型数据分析,负责hive+oracle存储过程数据开发和优化,负责生产环境部署相关流程管理
4. 负责实时ES风险决策数据采集并转化
大数据数据采集中心应用平台
工作内容:
1. 开发元数据管理模块及时同步元数据反映数据格式变化
2. 开发+设计数据采集模块,集成可配置化,可视化数据同步功能
3. 开发+设计数据服务模块,集成数据脱敏,数据分级分类,数据血统分析处理模块
大数据分布式调度应用平台;
大数据数据仓库基础平台;
工作内容:1. 参与大数据平台的建设和维护
2. 参与设计数据仓库模型、构建分层体系、元数据管理及核心应用开发
3. 参数据服务的开发,为其他部门提供数据服务
4. 负责基于Hadoop/Spark/Hive/HBase/kafka等分布式计算平台实现离线分析、实时分析的计算框架;
5. 负责大数据应用产品(营销、推荐、搜索、分析等)的设计、开发、维护工作,包括系统/算法的设计及实现;
6. 在线推荐及广告营销系统开发,实时数据和离线数据的加工分析及可视化等
角色 | 职位 |
负责人 | 高级大数据开发工程师 |
队员 | 产品经理 |
队员 | UI设计师 |
队员 | iOS工程师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |
大数据中心门户系统-采集中心 数据+应用开发 日期 2019.02—至今 描述:内容:在“互联网+”的背景下,原公司系统分六大部门,十多个模块,上百个关系型与非关系型数据库。其中各数据格式,业务类型,数据模型各有差异,系统变更快,传统ETL采集方式并不能满足反馈及时,变更
分布式调度平台是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。具有高可靠、海量任务、秒级别调度等能力 。采用全新的架构,是全新自研的分布式任务调度平台,不但解决了老产品的性能瓶颈,还提供了更多更快更强的能力 前后端使用技术:jav
采集中心主要给用户提供可配置化、高性能、安全可靠、批管理、批监控管理数据融合与批管理、批监控管理服务,使用的采集中心离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、ElaticSearch、impala、HDFS、Hive、ADS、HBase、Ta