ID:143317

affable

大数据开发工程师

  • 公司信息:
  • 国交信息
  • 工作经验:
  • 1年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 周六
  • 周日
  • 所在区域:
  • 北京
  • 朝阳

技术能力

1. 熟悉java、python、scala等多种编程语言;
2. 可以熟练使用springboot、vue等常用web开发框架;
3. 所掌握的组件有: redis、mysql、es、kafka、yarn、hdfs、mr、hbase、hive、spark、storm等;
4. 具有海量数据处理经验,在多线程、高并发方面有深入研究。

项目经验

1. 项目名称:网约车数据分析平台。
项目简介: 接收各公司网约车数据,进行存储分析,最后在页面进行展示。
详细介绍: 各公司通过32个接口向我们传输数据,接口使用nginx+keeplived做负载均衡。
接收到数据后,放入kafka,避免数据量突增导致后台崩溃的问题。
为了传输数据的效率,各网约车公司使用pb格式传输数据,所以在kafka上有一个回环程序,从kafka读取数据,解析完成后,根据不同地址的数据写入kafka的topic不同的partition。
在kafka下游有一个server端,各省市可以通过client端向kafka拉取数据。
在kafka上游,通过一个storm程序,拉取kafka数据,解析后,写入es和hdfs,写入es的数据用于web页面的实时查询,写入hdfs的数据,加载入hive后,用于离线处理。
web程序采用多租户的形式,使用的框架是springboot+layui2.x。

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服