ID:158263

智者无敌

大数据开发工程师、BI工程师、数据分析师

  • 公司信息:
  • 深圳优地网络有限公司
  • 工作经验:
  • 2年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 下班后
  • 可工作日远程
  • 可工作日驻场(离职原因)
  • 可工作日驻场(自由职业原因)
  • 所在区域:
  • 深圳
  • 龙岗

技术能力

熟悉Scala、Python等语言;
掌握Hadoop、Hive、Hbase、Flume、Zookeeper、Kafka、Spark、Flink、Sqoop等技术的使用;
掌握SQL、HiveSQL,具有一定的调优经验;
熟悉SparkStreaming和SparkSQL数据处理;
掌握Shell脚本,Linux操作系统命令,SSM、SpringBoot框架;
熟悉数据仓库开发、报表开发。

项目经验

拉钩网爬虫大数据实时分析平台
通过Python爬取拉钩网岗位数据,利用Flume监控目录与Kafka之间实时读取数据至HBase中,
使用Hive和HBase映射整合,实现HiveSQL对岗位数据进行清洗、多维度分析和存储,
将存储的分析数据导入MySQL中,采用Echarts实现数据可视化。
大数据实时统计分析可视化系统
通过Python爬取爱奇艺网站数据,利用Flume监控目录与Kafka实现实时读取,
使用SparkStreaming对网站数据进行实时清洗并存储至Hbase中,利用SpringBoot实现数据可视化。
大数据日志离线分析系统平台
通过Nginx产生日志并实现负载均衡,利用Flume采集、监控日志数据至HDFS中存储,
采用MapReduce对日志数据进行清洗并导入Hive中,利用HiveSQL实现数据分析,
将分析处理的数据利用Sqoop导入MySQL中,采用SSM框架来实现数据可视化。

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服