(1) 精通 Oracle,MYSQL,GREENPLUM,Sqoop,HIVE,IMPALA,KAFKA,ES 等数据库及组件;熟练使用阿里云;熟悉海量数据处理性能优化;
(2) 精通 Perl,Python,Shell,SQL ,熟悉数据库理论及数据开发技术;
(3) 熟练掌握 DataStage,KETTLE,SQOOP等 ETL 开发工具和 MOIA,AZKABAN,DOLPHINSCHEDULE 等调度工具,熟悉报表开发流程,熟悉数据仓库基本架构;
(4) 熟悉 ERWIN,power-designer 等数据建模工具;
(5) 熟练掌握数据质量监控,血缘关系等技术;
中兴飞贷数据平台
中台架构设计
1、负责数据中泰整体架构设计及数据模型;
离线实时开发
1、采用 impala ,负责离线 ETL 方案设计及开发,实现帆软报表、tableau 、提数等需求;
2、采用 kafka+flink+mysql ,负责实时方案设计及开发,实现大屏、实时需求;
3、通过 python 配置 excel 生成脚本及调度;
4、数据质量自动化监控设计及开发;
系统开发
1、舆情采集系统开发及维护;