ID:203765

彭慧波

大数据开发工程师

  • 公司信息:
  • Freewheel
  • 工作经验:
  • 1年
  • 兼职日薪:
  • 800元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 所在区域:
  • 北京
  • 朝阳

技术能力

掌握Hadoop、Spark、Azkaban、HBase等分布式框架的原理,熟悉HDFS、Azkaban源代码,熟练编写Hadoop、Spark代码。
熟悉Java编程语言,熟练掌握Linux常用命令,熟悉shell/bash编程,了解python语言,了解HTML、JavaScript前端开发语言。

项目经验

(1)采用 pySpark 和 HadoopStreaming 解析用户日志,构建基于用户验证控件的 数据仓库;(2)利用 Java 编写 Hive UDAF 函数,解析用户手机系统的最大版本号;(3)利用 python 每天定时调度 Airflow 解析日志,生成 Hive 数据表;(4)编写 shell 脚本定时监控数 据表是否按时生成,如果未生成,则发送报警短信;(5)采用 Hql 统计用户各验证控件的展示量、使用量、成功量、验证成功量同环比等。

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服