【专业技能】:熟练掌握Java、Scala,Python等多种编程语言;熟悉Linux系统,掌握常规操作命令,可根据需求完成shell脚本编写。能够熟练使用MySQL、Hive数据库。熟悉大数据分布式计算框架Hadoop、Spark等进行数据分析、数据调优和模型训练;熟悉聚类、回归等常用机器学习算法,
空管大数据分析平台
<项目概述> 空管数据分析是基于空管大数据平台采集多种数据,完成日均超5000架次航班各类数据分析。包括不限于飞行状态、扇区航班总量、总航班量、延误状态等,为管制员提供数据参考。
<技术实现>基于Spark框架进行航班流量统计,分析航班延误程度,机场繁忙度;
通过对历史数据的统计分析,对各扇区未来15分钟内航班总数进行预测;
飞机尾流间隔的分析和统计,提高用户使用效率超80%;
基于线性回归算法构建预测模型,进行航迹预测;
基于聚类算法构建分类模型,用于不明信号验证;
通用存储平台开发
<项目概述> 通用存储平台通过空管大数据平台,对不同种类的异构数据统一建模,进行采集解析和数据存储,实现日均500万条航迹数据格式解析和数据处理,完成数据的统一输出,供多种平台使用。
<技术实现>
从0-1搭建大数据平台;
基于SFTP,Kafka,UDP组播等技术实现对不同类型数据的采集;
字节码解析、JAXB、正则匹配等技术对不同类型数据解析,实现数据的标准化处理;
基于数仓的分层理念对数据进行ZSTD压缩存储;
提供统一的数据输出格式,为不同平台上提供数据应用;