ID:262585

蓝宇

数据工程师

  • 公司信息:
  • 有赞
  • 工作经验:
  • 8年
  • 兼职日薪:
  • 800元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 所在区域:
  • 杭州
  • 西湖

技术能力

大数据:6年大数据相关经验,对大数据组件的架构、选型、部署、使用、调优以及源码开发均有实践;
ES:3 年开发运维经验,能快速构建垂直搜索引擎;
ETL:擅长使用 FileBeats 、LogKit 、LogStash 对数据进行收集, 熟练使用 Spark 、Flink 对数据进行加工处理;
爬虫:有大型分布式爬虫系统设计开发经验,对于常规JS混淆逆向、安卓逆向、小程序逆向均有较多实践,对网络抓包、接口解析等均有深入研究;
全栈:熟练使用 C# 开发桌面应用程序,熟练使用 SpringBoot 配合前端全家桶构建网站应用。

项目经验

一、实时数仓项目
独立开发了 DataCollecter 数据采集工具, 从多节点数据库中采集数据并写入到 Kafka 集群; 使用 Spark Streaming 实时对数据进行处理, 并将处理过的数据存储到 ES 中(Stage 层);借助 ES 的聚合功能, 配合定时任务, 对 Stage 层数据进行清洗、标记、整合,并存储到 ES 中(ODS 层);将 ODS 层索引映射到 Hive 表中,构建 DWD 层需要的维度表和 事实表;使用 Kylin 对 DWD 层数据进行建模,进而提供标准 SQL 能力供数据展示层使用。

二、全网音视频网站数据接口
全网音乐网站及VIP会员歌曲下载链接解析;
全网视频网站真实下载地址解析。

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服