开发语言:专家级Java开发能力,精通Guava、Gson、JodaTime等第三方工具类库的使用。熟悉Python、JavaScript、Scala语言及Shell脚本。
数据处理及分布式计算框架:专家级MapReduce开发能力,熟练掌握Spark。
数据库:熟练掌握SQL。专家级HBase应用能力,熟悉Hive、ElasticSearch、MongoDB的使用。
开发框架:熟悉SpringBoot及MyBatis框架的使用。熟悉SpringCloud生态圈中Eureka、Feign、Ribbon、Zuul等的使用。
英语能力:雅思7分,英国曼彻斯特大学硕士优秀毕业生。优异的阅读能力,可快速阅读并理解计算机和软件开发类专业文档和论文。优秀的听、说、写能力,可商务沟通。
资格认证:国家软考,系统分析器师
EzBigData分布式数据服务平台 研发经理
EzBigData是一个基于Hadoop/HBase/Spark的分布式数据服务平台。主要负责设计、编码实现、研发管理及应用培训工作。主要负责以下部分的设计与研发:
1. 设计并实现了HBase批量数据导入功能,可以通过配置而非硬编码的方式将不同来源的数据以不同的格式导入HBase库。
2. 设计并实现了对HBase的索引功能,采用了Rowkey重排和Rowkey二级索引表两种方式。
3. 设计并实现了多个面向业务的MapReduce\Spark分布式计算模型,对数据进行统计分析。 同时利用HBase Coprocessor 技术,做一些范围较小但实时性要求很强的业务统计。
4. 设计并在EzBigData使用了一种全新的四叉树的索引方式,用来对二维的地理位置空间点数据的索引、分页查询等操作进行优化。相关技术正在申请专利中,并独立作为新的产品EzSpatialIndex供公司研发人员使用。
5. 主导或参与了部署工具开发、前端页面设计等工作
公司系统微服务化升级改造 架构师
主导了微服务化升级改造工作,负责需求调研、开源技术选型、整体设计、基础服务的研究、开发与部署工作。并主导了携程数据下载服务微服务化改造升级工作,作为技术指导参与了其他若干微服务化改造工作。