具有较大(百亿+/日)用户行为数据处理经验,熟悉日志、埋点处理完整流程,熟悉Hadoop/Spark技术栈,SQL熟练,较熟悉MySQL、Oracle等数据库,可使用Python/PHP开发
具有较丰富的数据仓库、数据平台、指标体系设计经验
负责贴吧数仓建设,涉及数据埋点、数据采集、需求对接、数仓和报表开发等完整的数据处理流程。
日处理数据量200亿+
建设人、吧、贴等10+主题400+表
构建各业务线KPI指标体系100+
负责数据平台的设计,设计了元数据管理、多维查询、自助分析、自助报表等工具,为业务方提供工具支持
角色 | 职位 |
负责人 | 资深大数据工程师 |
队员 | 产品经理 |
队员 | 后端工程师 |
百度MEG包括10+业务线,各个业务线之间独立建设、管理自己的数据,采用烟囱式开发。在快速支持业务需求的同时,也导致整个数据体系标准不一,指标口径混乱,数据重复计算,资源浪费,难以使用。 oneMeta项目通过重新规划设计MEG的数据体系,规范整个开发过程,来搭建一个融合打通
构建贴吧、直播等业务线的数据仓库,包括人、吧、贴、直播等10+主题400+表,日处理数据量200亿+