机器学习
数据挖掘
Python开发
Java开发
爬虫相关
熟悉Java/Python语言的程序设计开发
熟悉Linux环境和Shell编程
深入研究过HDFS、Yarn、MapReduce,HBase、Zookeeper、Hive,并熟悉其设计原理和应用
深入理解常用机器学习算法,包括聚类、分类、关联分析等
熟悉推荐系统相关及自然语言处理
熟悉关系数据库的设计和SQL编程
熟练使用Numpy、R等工具进行数据处理
精通正则表达式,具有良好的数据结构和算法设计能力
2018.2-至今 360金融
2016.6-2018.1 一度用车
期间担任数据挖掘总监,负责公司数据部门的工作和团队管理,主要参与以下工作:
- 组建公司数据团队,从零开始搭建公司大数据开发环境,并编写底层调度框架、数据同步框架和日志解析框架
- 提出并完善了基于运力投送的运力匹配优化算法,效果显著
- 实现了用户自动身份验证,包括人脸识别、身份证识别和驾照识别模块的模型训练,整体正确率在90%左右,大大减轻客服工作量和提升用户体验
- 竞品数据抓取和分析
- 搭建公司BI系统和报表展示平台
2015.8-2016.6 美丽说
期间加入数据智能部门,就任高级数据挖掘工程师,主要参与以下工作:
- 参与建设公司基于Hadoop平台的数据挖掘平台
- 参与负责商品推荐系统的优化
- 参与基于卷积神经网络的商品同款项目。
2014.2-2015.7 中科二十八所国防科技重点实验室
期间加入大数据技术研究中心,潜心研究各种大数据相关技术,包括Hadoop、HBase、Spark、Storm、Zookeeper、Kafka等,并深入研究了机器学习相关领域的原理和算法。期间解决了大数据环境下海量视频的分片解码技术,并配合实验室申请了该项专利,另外参与雷达波段自动识别分类等项目。
2012.11-2014.1 百度公司(北京)
期间通过校招加入百度贴吧数据挖掘组,主要的工作经历包括:
- Linux下编写MapReduce和HiveQL程序进行数据处理
- 参与贴吧反作弊策略算法方向相关工作,包括参与自动识别删除黄贴黄图及其他违规帖模型的建设和优化