大数据处理,数据仓库, 机器学习,Tensorflow,flink,spark,hadoop,hbase等。
2019年11月-今:
• 工作内容:
flink生态组进行flink生态相关建设,主要是在flink与机器学习的结合方向。
主导项目ai-flow,本项目提供机器学习数据处理,特征工程,模型训练,预测等全链路解决方案。目前本项目基本开发完成。
• 工作成绩
ai-flow项目基本开发完成,正在制定开源计划。
2018年11月-2019年11月:
• 工作内容:
flink-ai-extended项目开发。本项目是在flink上抽象深度学习框架,并且支持在flink上运行tensorflow,pytorch 等深度学习框架。
• 工作成绩
flink-ai-extended项目开源。
2018年3月-2019年4月:
• 工作内容:
AOP平台机器学习相关功能开发。
• 工作成绩
在集团内服务推荐(猜你喜欢)、搜索上线。
2016年11月-2018年11月:
• 工作内容:
Porsche平台机器学习相关功能开发(tensorflow 在porsche平台上的相关功能负责人,样本处理相关开发,平台runtime相关开发)
• 工作成绩
已经在集团内服务推荐、主搜、反作弊等多个业务场景,并成功经历618、双11大促的考验。在双十一大促预热期及当天,每天稳定运行60+离线任务,10+实时任务。业务指标取得非常显著提升。(主搜排序,AIOPlus场景卡片个性化,双十一主会场行业楼层个性化,双十一主会场内标签会场,双十一主会场猜你喜欢,主会场入口个性化场景,主搜无线成交预估,反作弊订单实时清洗)
2016年1月-2016年11月 阿里巴巴:
• 工作内容:
Blink Table Api相关开发并且在淘宝搜索离线业务上线。(负责人)
淘宝搜索离线业务。
• 工作成绩
在淘宝搜索离线业务同步数据场景性能提升6-8倍,在双11场景基本无延时。
2014年8月-2016年1月 阿里巴巴:
• 工作内容:
搜索离线业务组件化改造(同步数据模块,导出数据模块,整个组件runtime framework)。
搜索离线中文站相关业务(负责人)。
• 工作成绩
搜索离线组件化改造,之前需要1-2月
2019年11月-今:
• 工作内容:
flink生态组进行flink生态相关建设,主要是在flink与机器学习的结合方向。
主导项目ai-flow,本项目提供机器学习数据处理,特征工程,模型训练,预测等全链路解决方案。目前本项目基本开发完成。
• 工作成绩
ai-flow项目基本开发完成,正在制定开源计划。
2018年11月-2019年11月:
• 工作内容:
flink-ai-extended项目开发。本项目是在flink上抽象深度学习框架,并且支持在flink上运行tensorflow,pytorch 等深度学习框架。
• 工作成绩
flink-ai-extended项目开源。
2018年3月-2019年4月:
• 工作内容:
AOP平台机器学习相关功能开发。
• 工作成绩
在集团内服务推荐(猜你喜欢)、搜索上线。
2016年11月-2018年11月:
• 工作内容:
Porsche平台机器学习相关功能开发(tensorflow 在porsche平台上的相关功能负责人,样本处理相关开发,平台runtime相关开发)
• 工作成绩
已经在集团内服务推荐、主搜、反作弊等多个业务场景,并成功经历618、双11大促的考验。在双十一大促预热期及当天,每天稳定运行60+离线任务,10+实时任务。业务指标取得非常显著提升。(主搜排序,AIOPlus场景卡片个性化,双十一主会场行业楼层个性化,双十一主会场内标签会场,双十一主会场猜你喜欢,主会场入口个性化场景,主搜无线成交预估,反作弊订单实时清洗)
2016年1月-2016年11月 阿里巴巴:
• 工作内容:
Blink Table Api相关开发并且在淘宝搜索离线业务上线。(负责人)
淘宝搜索离线业务。
• 工作成绩
在淘宝搜索离线业务同步数据场景性能提升6-8倍,在双11场景基本无延时。
2014年8月-2016年1月 阿里巴巴:
• 工作内容:
搜索离线业务组件化改造(同步数据模块,导出数据模块,整个组件runtime framework)。
搜索离线中文站相关业务(负责人)。
• 工作成绩
搜索离线组件化改造,之前需要1-2月的业务,组件化后只需要1-2天就可以完成。
2013年12月-2014年7月 百度:
• 工作内容:
知识库离线计算系统开发(开发)
• 工作成绩
知识库离线计算系统上线,支持知心,学术搜索等业务。
2012年7月-2013-12月 百度:
• 工作内容:
spider在线计算模块runtime设计开发及业务开发,对抓取的网页进行页面元素提取,网页分类,价值判断,删除,筛选等。(负责人)
• 工作成绩
从简单mimo(多输入多输出的流式计算框架)程序,发展为组件化封装,支持策略可组件拆分,策略在多个进程运行的模块。统一了线上计算与线下计算。计算动态可扩展。
【--请勿在正文留技术主页链接,二次审核不通过将被下架,感谢支持--】 Flink AI Extended Flink AI Extended is a project extending Flink to various machine learning scenarios
Deep Learning on Flink aims to integrate Flink and deep learning frameworks (e.g. TensorFlow, PyTorch, etc). It runs the deep learning tasks