综述: 本人2016~2020为贝壳人店数据负责人,长期从事人店数仓建设、指标体系搭建、人才招聘及团队梯队建设。工作期间,带领8 人团队完成多个数据项目,包括贝壳指标体系、贝壳分、好房IP、BtC渗透等。
2020至今在蚂蚁集团从事数据安全相关指标体系建设工作。
技能:
建模:熟练掌握维度建模
语言: 熟练掌握hive sql\python
计算引擎:熟练掌握kylin\druid\mr\tez\flink
数据库:熟练掌握mysql\clickhouse\hbase
2019.10-2020.6
人店实时数仓项目
人店数据中台负责人
项目介绍: 随着贝壳一线管理人员对数据化运营的依赖越来越强,为了加快数据化运营的效率,一线管理人员期望把一些经营数 据以更快的速度计算出来,并实现秒级更新,即发生作业当时就可以拿到一份实时数据分析报告,以帮助经纪人做下 一步的决策。
责任描述: 1.实时数仓项目规划,基于平台的ETL工具、数据存储技术、计算引擎、查询引擎涉及的多个技术栈,完成数据架构和 技术架构及规范设计 2.实现人店实时新增类指标、实时库存指标,实时明细等场景,跨多维度多业务系统实时指标支 持 3.推动引擎团队、产品开发团队、实时技术团队及实时数仓团队优化实时数仓产品建设及规范建设 4.组织实时数仓 建设培训
技术栈: flinkSQL\kafka\hbase\doris\clickhouse
项目成果:
1.完成实时数仓lambda架构在贝壳的落地 2.完成多维实时指标、实时明细场景落地 3.支持行程量、VR售楼部、新房 客源管理等多个实时项目的开发 4.内部培养2名ADC成为实时数仓核心成员
整个技术架构围绕数据源抽取、数据交换、ETL逻辑加工、数据查询、产品端展示展开。 数据源抽取:实现:基于库表及日志两类数据源进行数据ETL 工具:hdfs集成使用sqoop\databus\hdfsload\flume
人店数据中台-基础明细层dwd\base:实现:面向人店业务板块的数据域抽象,抽象设计各数据域业务过程模型,沉淀分析统计维度 建模方式:面向统计