1、对于Java基础技术体系(包括JVM、类装载机制、NIO,多线程)有一定的掌握和应用经验;
2、熟悉微服务架构dubbo、zookeeper
3、熟悉Mysql等常用数据库开发及有调优经验
4、掌握docker 及Linux操作系统
5、掌握使用并理解消息中间件Kafka
6、熟悉Spring,Springboot等技术栈,了解源码和实现原理,熟悉Spring的IOC,DI,AOP设计思想;
7、掌握arthas工具解决线上问题,线上调优
8、对hadoop,hive大数据集群和etl工具kettle有一定的了解
9、有阅读源码的习惯,阅读Zookeeper,HashMap,Spring源码
10、熟悉掌握K8s等技术栈
顺丰大数据平台报表系统:根据顺丰重货业务需求,负责在大数据平台进行数据分析,数据抽取,报表平台展示。
项目主要是在基于hadoop集群平台上,对各数据源数据进行数据分析,处理,呈现。
基于hdfs作为数据存储,采用hive语言编写数据操作脚本,通过sqoop进行数据接入和抽取,java开发报表系统作为数据显示。
BMS结算管理系统该项目主要服务于杭州中通云仓科技费用结算,主要包括计费引擎费用计算,
应收应付费用账单管理、应收付发票管理、收付款核销预估、 分摊等全流程的结算以及核算分析统计功能。
该系统通过kafka接收中通大数据平台推送得单据信息,基于中通的1个月1000万的业务量,采用Mysql作为数据存储,sharding-jdbc按仓库维度进行分库分表,
按客户要求进行性能优化,支持100W数据量账单20个并发导出下平均耗时3分钟,采用两个线程一个负责sql读取数据到ArrayBlockingQueue,
一个线程负责从ArrayBlockingQueue做io excel写入,
采用jdbc预编译单次读取1万条,sql分页优化,经过使用jmeter模拟20个请求并发下载压测,最终完成客户目标。在采用docker部署6台服务器,项目采用dubbo+zookeeper服务化架构。
为中通客户带来高效,便捷的结算作业。
对B站用户进行 性别统计; 评论留言时间段统计; 年龄统计; 评论查询; 用户等级统计; 牌子用户统计; github链接:https://github.com/616717724/bilibiliReplyTool
担任运输管理系统开发组长、主要负责订单管理、包括从上游系统接收大数据量数据、订单录入、订单发运等功能的表设计和模块划分.