精通高并发分布式系统的设计和开发,618大促当天接口支撑100w qps,tp99在100 ms以内
熟悉特征系统,标签系统的整体设计和开发,带领团队实现部门特征平台从无到有的建设,为上游多个算法平台提供高性能低延迟的特征生成服务,服务经历618和双十一的检验,稳定可靠无重大事故
熟悉数据中台整体架构设计,如元数据、数据建模 模块的设计和开发
熟练掌握Springboot开发框架及其各种插件(如mybatis)
熟练掌握常用大数据存储系统和中间件的使用:flink、redis、kafka、hbase、ES、clickhouse
熟悉微服务项目搭建,熟悉SpringCloud各个组件的使用方式
熟悉数据仓库系统建设理论,熟悉基于hadoop hive的数仓模型
熟悉面对对象编程的特性和基本原则,熟悉常用的设计模式和云设计模式并将之应用于项目
熟悉常用数据库的原理及设计方式,熟悉各种数据库的优化方案,有千万级数据表的数据优化经验
熟悉常用的系统架构设计工具如Viso
精通java ,熟悉c#、javascript、python、c、等编程语言
2021年3月至2023年5月
京东零售特征中心平台的建设
特征中心是一个为算法模型、策略、分析等提供特征数据及配套便利数据服务的系统,是算法中台为零售内部建设的完整统一特征信息管理平台。通过特征中心,对零售内部特征数据进行集中化管理,加强特征数据的共享和复用;提供特征注册、计算、开发、上线和应用的全流程;提供在线的特征工程,快速圈选和使用特征数据,实现特征数据的一站式服务。本人是特征中心设计和开发的主要负责人,带领团队实现特征中心平台从无到有的建设,参与特征中心的需求对接、系统设计、平台开发建设、日常维护。特征中心目前为上游多个算法平台提供高性能低延迟的特征生成和圈选服务,服务经历618和双十一的检验,稳定可靠无重大事故。
2020年5月至2021年3月
京东零售数据中台数据标签系统的设计和研发
设计和开发基于对用户打标和对商品打标的京东零售标签系统。用户标签和商品标签是零售体系精准促销和用户留存的重要依据。京东商城的商品详情页面(如茅台抢购),对不同人群优惠券的投放都是商品标签和用户标签的实际应用场景。京东商城有海量的用户数据和商品数据,标签系统通过整合不同渠道,不同方式(商家,运营、算法)来统一标签的规则,统一创建和管理标签,并为标签的使用者提供后端接口,前端圈选查询,以及结果的触达服务。
2019年12月至2020年5月
京东零售数据中台数据建模系统的设计和研发
设计和研发基于数据仓库的数据建模系统。数据使用人员可以通过该系统对数仓中的原始数据(事实表和维表)进行加工,对基于底层的维表和事实表进行字段抽取,通过预配或者自定义字段生成逻辑来生成新的维表和事实表。同时数据建模也为数据血缘提供了溯源依据。
2019年3月至2019年12月
京东数科银河数据中台元数据系统的设计和研发
设计和研发用于抽取,转换、存储、和对外提供服务的元数据系统。包含技术元数据如hive、mysql、kafka的元数据信息和业务元数据如:数据产品属性定义等。支持数据血缘回溯。
角色 | 职位 |
负责人 | 高级java开发工程师 |
队员 | 后端工程师 |
京东零售特征中心平台的建设 特征中心是一个为算法模型、策略、分析等提供特征数据及配套便利数据服务的系统,是算法中台为零售内部建设的完整统一特征信息管理平台。通过特征中心,对零售内部特征数据进行集中化管理,加强特征数据的共享和复用;提供特征注册、计算、开发、上线和应用的全流程;提
设计和开发基于对用户打标和对商品打标的京东零售标签系统。用户标签和商品标签是零售体系精准促销和用户留存的重要依据。京东商城的商品详情页面(如茅台抢购),对不同人群优惠券的投放都是商品标签和用户标签的实际应用场景。京东商城有海量的用户数据和商品数据,标签系统通过整合不同渠道,不同方