熟悉Java,Python,了解Scala语言。
熟悉Spring Boot,MyBatis开发框架,熟悉PostgresSQL,MySQL关系型数据库及性能调优,熟悉Redis,MongoDB非关系型数据库。
熟练使用Linux 系统(Ubuntu 14/16,CentOS 7),了解常用的系统调优,熟悉Shell命令。
熟练使用Docker构建服务。
熟悉Nginx代理转发。
熟悉Selenium+Chrome爬虫,熟悉requests模块,urllib工具爬取数据。
了解Hadoop生态圈,及相关组件Hive,HBase,Spark,Storm。熟悉Spark 常用算子及SparkSQL操作数据。
熟悉CDH构建大数据集群。
熟悉EC2,AWS服务器的创建和运维。
1.可口可乐公司数据处理及Web端展示(URL:cocacola.spiderdt.com )负责数据库设计、数据处理、后端数据呈现模块
2.爬虫系统 包含雪球评论、东方财富股吧数据、搜狗指数、百度新闻等在内的多个财经类网站的数据爬取
3.负责公司多个ERP项目设计及实现工作
4.负责淘宝聚石塔内服务维护和更新,以及将塔内数据获取到塔外,并进行ETL操作。