JAVA技术栈:
设计模式
JVM(CPU、内存故障排除,性能监控)
SPRING BOOT/MVC
RDS(MYSQL/ORACLE) 、NOSQL(REDIS/HBASE)
大数据技术栈:
数仓建设
HDFS、HIVE、 SPARK&SPARK STREAMING、 HBASE、 ZOOKEEPER
调度资源优化、任务效率优化、数仓优化
项目一:GDS投放系统:
项目概述:基于GDS平台项目的价格投放系统,主要是提供航班信息给淘宝、去哪儿、携程、同程等OTA平台。目的是让用户体验到优惠、快捷、便利的机票服务
技 术 栈:Spring Boot + Spring MVC + Shiro + Maven + MyBatis + Redis
职责描述:
1、报表分析,基于时间、出发地、仓位等维度进行价格和票量等信息的对比展示
2、政策管理,根据政策规则生成报表上传到OTA平台
3、政策测试及诊断,协助业务人员分析价格的构成过程
4、直连数据质量分析
技术难点:
1、报表统一形式展示
2、政策匹配算法
3、航线报价生成策略
4、政策数据结构优化,百万级数据实时上传
5、千万级报价质量分析
项目二:GDS政策分析系统:
项目概述:针对政策投放系统所产生的的数据进行分析,由询价、验价、生单、付款一系列接口所产生的数据包含:用户、航线、政策、订单等数据,根据分析数据结果为公司业务资源的投放提供支持
技术栈: Flume + Kafka + HDFS + Hive + Spark + Kafka + MySQL + Redis + Azkaban
职责描述:
1、热门线路自动压价,实时监控并保持航线投放的政策为最优价格
2、政策投放风险预估,分析对已投放价格的影响率
3、用户画像
4、共享航班统计,选取价格较低的航司
5、延误率、准点率分析
6、分析退票率和航司、月份、平台等之间的关系
7、政策采用率
技术难点:
1、Spark Shuffle数据倾斜
2、Spark 资源调优
3、Kafka消费延迟提醒
4、Hive小文件合并
5、大批量数据插入时导致的MySQL的性能问题