1、3年以上TB级数据开发和维护经验,熟悉主流离线&实时大数据架构,精通离线&实时数据开发,精通数仓开发建模,熟悉
Hadoop生态圈技术(Flink、Spark),熟悉Hive、Hologres、HBase、ClickHouse、StarRocks、Doris、MySQL、Redis
数据组件的优缺点及使用场景、优化方式。熟练掌握阿里云(DataWorks、Dataphin等)、AWS等主流云数据开发平台的使
用。熟悉数据治理规范和流程,主导过PB级别的Hadoop集群运维与数据治理。熟悉DolphinScheduler调度平台,熟悉Pow
er BI使用。了解数据湖Hudi
2、能独立完成数据应用的架构设计与开发,掌握UDF/UDTF/UDAF开发。熟练使用Java/Scala/Python,熟悉JVM原理和多
线程编程,熟练使用Spring Boot、Spring Cloud、MyBatis等框架完成应用开发
3、善于学习和跟踪大数据架构领域新技术发展方向,持续优化数仓模型、数据中台架构设计
工作经历
负责碳普惠平台、网约车实时风控、用户画像离线&实时数据开发,日常数据治理,数据接入平台开发与维护
担任数据开发 Leader ,负责滴滴货运运力侧数仓模型的研发落地及性能优化、任务分配、进度把控,支持业务团队数据应用建
设,离线&实时数据开发(用户画像标签设计与开发、重大业务需求支持)、数据治理
担任数据开发 Leader ,负责神州优车PB级Hadoop集群大数据运维,神州专车订单、车辆相关离线&实时数据开发,数据治理
负责百合网婚恋数据开发,为运营活动、相亲活动、订单交易提供数据支持
移动端、Web端应用性能监控项目系统后端开发
·1、碳普惠平台数据开发:基于使用上海绿色出行的用户进行碳减排数据开发,主导碳普惠离线数仓和实时数仓DIM、ODS、 DWD、APP层数据模型的设计,开发碳普惠数据集市与用户画像,实现碳产生及交易的全链路数据建设。与算法、运营等业务部 门紧密合作,为2023年10月绿色出行达
担任滴滴货运运力方向离线数据开发 Leader ,负责运力方向离线数据架构设计与开发: 1、离线数据基础建设:负责运力侧离线数据ODS、DWD、DWM、APP、DM层方案设计与开发,对已有DWM层表进行重构,规 范主题和词根,增强模型通用性,提高指标数据一致性与准确性。定期与