技术能力

大数据方向
1.熟悉HDFS、MapReduce、Yarn、Kafka、Flume、Spark生态、Hive、HBase、Azkaban、zookeeper、sqoop、Storm、Flink、Druid，ElasticSearch等大数据技术
2.深入了解Spark源码，会对Spark进行性能调优
3.能够使用Shell脚本语言编程
4.熟悉推荐、机器学习相关算法
5.会使用java、scala、python 三种语言进行编程
6.熟悉数据仓库的模型
java方向
1.熟悉IO、多线程、集合等javase知识
2.熟悉spring、mybatis、spring boot等常用框架
3.熟悉RabbitMQ、kafka、Dubbo等常用中间件
4.熟悉redis，mongo等非关系数据库
5.熟悉jvm原理
6.熟悉docker,k8s
python方向
1.Python基础扎实，熟悉常用的类库
2.掌握Tornado、Django、Flask等主流框架
3.熟悉pyspark，熟练使用并可以处理数据并解决倾斜相关问题
熟悉常用ensorflow、pytorch等主流机器学习技术

项目经验

项目名称:唯品会AI平台
项目周期: 2018-08 - 至今
软件环境：Hadoop、Flink、spark、Zookeeper、Kafka、Hive、ElasticSearch、SqlServer、k8s、kubeflow
项目描述: 该项目是唯品会所有大数据团队、算法团队所运行的平台，里面包括spark、flink等主流大数据技术，也包括tensorflow、pytorch等主流机器学习技术，各业务方无需再各自搭建平台，全部统一环境，并且使用容器化技术，更大限度利用资源，更加灵活。
个人负责：
（1）flink、spark等平台的开发
（2）负责数据异常监控的开发
（3）资源调度方案设计与开发
（4）业务指标的计算

团队情况