ID:383177

fresh

开发工程师

  • 公司信息:
  • 华北空管局
  • 工作经验:
  • 7年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 下班后
  • 可工作日远程
  • 所在区域:
  • 北京
  • 朝阳

技术能力

【专业技能】:熟练掌握Java、Scala,Python等多种编程语言;熟悉Linux系统,掌握常规操作命令,可根据需求完成shell脚本编写。能够熟练使用MySQL、Hive数据库。熟悉大数据分布式计算框架Hadoop、Spark等进行数据分析、数据调优和模型训练;熟悉聚类、回归等常用机器学习算法,

项目经验

空管大数据分析平台
<项目概述> 空管数据分析是基于空管大数据平台采集多种数据,完成日均超5000架次航班各类数据分析。包括不限于飞行状态、扇区航班总量、总航班量、延误状态等,为管制员提供数据参考。
<技术实现>基于Spark框架进行航班流量统计,分析航班延误程度,机场繁忙度;
通过对历史数据的统计分析,对各扇区未来15分钟内航班总数进行预测;
飞机尾流间隔的分析和统计,提高用户使用效率超80%;
基于线性回归算法构建预测模型,进行航迹预测;
基于聚类算法构建分类模型,用于不明信号验证;

通用存储平台开发
<项目概述> 通用存储平台通过空管大数据平台,对不同种类的异构数据统一建模,进行采集解析和数据存储,实现日均500万条航迹数据格式解析和数据处理,完成数据的统一输出,供多种平台使用。
<技术实现>
从0-1搭建大数据平台;
基于SFTP,Kafka,UDP组播等技术实现对不同类型数据的采集;
字节码解析、JAXB、正则匹配等技术对不同类型数据解析,实现数据的标准化处理;
基于数仓的分层理念对数据进行ZSTD压缩存储;
提供统一的数据输出格式,为不同平台上提供数据应用;

相似人才推荐

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服