编程语言
擅长JAVA,会使用 Python,c++,scala等
工程能力
1.熟悉分布式系统设计
2.熟练掌握以下分布式中间件设计思想
消息队列: RocketMQ,kafka, rabbitMQ 研读过RocketMQ源码,了解常见消息队列设计思想
存储: redis ,mysql,leveldb 研究过常见的分布式缓存存系统的设计,包括架构设计以及存储引擎设计
协调器:zookeeper
3.熟悉 MR,hive等分布式计算框架,能够独立完成数据清洗,离线报表,实时报表,数仓建设
4.熟悉 flink工作原理,参与过社区blink源码开发,有双11大促特征工程,模型训练经验 (30PB,2000W/QPS)
5.熟悉 开源hbase,hdfs,hadoop等大数据平台产品
6.熟悉淘宝主搜大数据生态,hippo,ali-hbase ,blink等自研基础设施,大数据场景下可能面临的问题
7.参与开发双11大促机器学习训练平台porsche/aop ,熟悉大促场景下模型online-learning,批训练,流训练
算法方向
1.熟悉LR,SVM,决策树,Gbdt,Xgboost,lightGbm 等常见分类算法公式推导原理及部分源码,熟练使用 liblinear,xgb,sklearn等开源算法工具
2.熟悉 I2I,fp-growth等数据关联挖掘算法,在推荐召回设计等场景下,有过关联召回经验
3.熟悉一些NLP应用场景,包括词语向量化,TF-IDF词频提取,语义标签分类等问题
电商某宝主页面feed流
电商某宝(最大的那个)主页面feed流失电商行业的入口,核心链路,整个用户的流量分发,商家导流都在该页面完成,实现了双11期间,秒级更新算法模型,实时导流,flink集群QPS 为 2000W,数据量大小 30PB
某团外卖系统关键链路设计
某团的商家供应链管理系统,对接 200W 商家 1000W家 门店,日订单量 3000W ,完成CRM 关系维护,短信通知,下单等核心交易链路开发
某团外卖订单系统 主要完成了外卖全部生命周期,包括用户下单,支付,风控,退款等全部流程;对接PC端与手机端后台,在每天完成 3000W 订单的前提下,同时保证系统的稳定性; 完成 后台开发 设计技术: spring,ES, redis , mysql,t
某团主页面广告系统 包含了外卖广告与线下门店广告,在某团手机端展示,设计整个广告系统架构,包括用户行为数据采集,召回模块生成,排序模块生成,算法调度执行层,支持每天 20亿次请求访问,算法模型更新为分钟级别 包含技术 spring mysql 机器学习 LR DN