精通java,熟悉设计模式
精通nosql技术如redis,mongodb
精通zookeeper
精通消息队列kafka
精通数据库mysql
熟悉流式计算
精通分布式开发
精通netty
在分布式爬虫方面有独到见解
擅长高并发开发
从0到1设计高效调度服务集群
对象存储swift,ceph等也有所了解
了解APP逆向相关知识
分布式爬虫:自由伸缩集群,多活中心节点,服务自动保活,高效缓存设计,qps峰值能达到百万级别
整个项目涵盖了多种技术栈:netty,redis,mongo,nodejs
统计模块采用的是spark streaming做实时计算以及离线处理
分布式爬虫,可伸缩调度服务,实时统计,离线计算,统计报表,高并发技术,网络通信,自动模拟用户行为脚本,反作弊策论分析
大数据计算,日均处理3T左右数据,数据延迟5分钟 支持多维度查询,可按照多种条件任意组合查询结果数据,响应速度在秒级