担任过Java后端开发工程师、大数据开发工程师、系统架构师、项目经理等职位
精通Java、Python、Linux Shell开发;
熟悉Mysql、SQLServer、Oracle等关系型数据库;
熟悉hive、kudo、Hbase、redis、ES、GP、MongoDB等分布式数据库。
熟悉Hadoop、Spark相关的大数据生态组件开发;
熟悉CDH、CDSW、HDP和TDH等大数据平台开发;
熟悉Cassandra、Presto、Storm、RabbitMQ等开发;
熟悉逻辑回归、随机森林等算法及graphx、neo4j图计算;
2018年4月-至今:xx消费金融CRM数据挖掘项目
主要负责cloudera CDSW科学家平台、图数据库neo4j的运维及使用。
2017年4月-2018年3月:XX消费金融大数据仓库项目
主要负责大数据仓库项目需求分析、技术架构设计、ETL流程设计、CDH集群环境搭建、运维优化、ETL脚本开发、等。
2016年11月-2017年3月:大数据产品-易观方舟实时计算
本人在该项目中担任项目负责人,
主要负责需求分析、架构设计、数据模型设计、底层数据处理、storm核心代码开发、产品上线和运维工作。
2016年7月-2016年10月:大数据产品-易观千帆升级改版
本人在该项目中担任大数据开发工程师,主要负责该大数据产品的底层数据处理和计算,包括数据采集、ETL处理流程(包含STG层、ODS层、BDS层、IDS层)、数据计算输出到数据集市层,并负责hadoop平台维护工作。
2016年1月-2016年6月:大数据产品-易观方舟
本人在该项目中担任大数据开发工程师,主要负责该大数据产品的底层数据处理和计算,包括数据采集、ETL处理流程(包含STG层、ODS层、BDS层、IDS层)、数据计算输出到数据集市层,并独立负责方舟统计分析模块的架构设计、模型设计和开发工作。
2015年7月-2015年12月:大数据产品-易观万像
本人在该项目中担任大数据开发工程师,主要负责大数据产品底层数据计算开发,负责需求分析、数据模型设计、代码编写和测试、数据校验、产品运维。
2014年1月-2015年6月:数据产品-易观智库商品雷达
担任项目负责人,主要负责架构设计、需求分析、模型设计、功能模块划分、代码管理、开发进度控制、核心代码开发、数据测试和校验、平台监控、产品运维。
2012年4月-2013年12月:中国网购商品行情系统
担任java开发工程师,主要负责需求分析、模型设计、功能模块开发、监控管理工具设计和开发、产品运维。
角色 | 职位 |
负责人 | 资深大数据工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |