ID:212381

gold@1007 有团队

高级大数据工程师

  • 公司信息:
  • 美至科技
  • 工作经验:
  • 10年
  • 兼职日薪:
  • 1000元/8小时
  • 兼职时间:
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 上海
  • 闵行

技术能力

java后端,大数据,数据分析,爬虫,app开发等
熟练掌握 Java 面向对象编程思想、集合、多线程、反射、io 等,良好代码注释习惯;
熟练掌握 Springboot、Spring,SpringMVC,Mybatis 等开源框架技术;
熟悉 Linux 操作系统,掌握 Scala 和 Shell 脚本语言;
熟悉 Hadoop&Spark&Hive&Flume&zookeeper&Hbase 等框架的搭建熟悉
Hive 的 HQL 语句和自定义 UDF 函数的编写;
熟悉编写 Mapreduce 代码;
熟悉 Spark 内存计算框架,SparkSql,SparkStreaming 等技术;
熟悉阿里云消息队列 MQ, DataX, MaxCompute,TableStore 等;
熟悉 MongoDB 数据库的基本原理和操作;
熟悉使用 MySQL 数据库的 SQL 语句;

项目经验

项目一(2019.5-现在) 爱德邦物联网大数据平台 Java+大数据开发工程师
项目描述:
爱德邦大数据平台旨在为 B 端车企提供骑行数据分析、数据监控、行业分析、产销分析、用户分析、营销分
析等各类服务
项目职责:
1.大数据平台 0-1 搭建: 阿里云资源评估申请、集群基于 CM+ CDH5.16.1 版本搭
建、集群集成大数据组件 HDFS,YARN,ZK,Hive,Spark,Oozie,Sqoop,Hue 等
2. 数据源整合: 数据接口开发包括 DataX 同步阿里云 OTS 数据、Sqoop 同步传统型
数据库(CRM 系统、K3 产销系统、鹰眼平台等)、Python 爬虫数据(电动车行业数
据)、Flume 同步日志数据等
3. 数据仓库建设: 主要划分 ODS/DW/DW2/APP 这 4 层, 核心是 DW2 层车辆资源
池和用户资源池,车辆资源池是从 EBMP 平台各品牌(爱玛,绿源,小帕等等)数据
库抽取数据形成车辆 ods 数据,以 VinCode(车架号) 为主键,以 CityName￾BrandType-VinCode-VehicleType 为粒度进行车辆数据加工,形成车辆资源池 ;用
户资源池是从 CRM 平台抽取 app 的 用户数据和行为日志形成用户 ods 数据,以
BrandType+UserID 为主键,以 CityName- BrandType-UserType 为粒度进行用
户数据加工,形成用户资源池
4. Java 开发后台接口提供给前端展示报表,主要技术 Springboot+tkMybatis
项目路径: http://das.adb-tech.com/adb-BigDataPlatform/
账号密码: yanglijin yanglijin
项目二(2017.3-2019.4) 移动用户人群标签库建立 Java+大数据开发工程师
项目描述:
移动用户人群标签库建立,为广告投放做精准匹配,提高点击率和转化率
项目职责:
1.MongoDB 集群搭建和部署
2.数据源是通过已投放广告订单所产生的用户轨迹日志
3.编写 Mapreduce 代码清洗用户轨迹日志,取出需要字段并存到 Hive 表中
4.对清洗后的 Hive 表中的数据进行数据转换处理,通过自定义 udf 函数解析
ip,字段加密,数据转 json 格式等一系列操作后再将数据写到 hdfs 上
5.分别用多线程,Mapreduce,Spark 实现将 hdfs 上的数据更新进 MongoDB
中,比较 3 者的更新效率
6.根据订单需求或广告主指定需要投放的用户群体,从 MongoDB 中全局统计
标签数据,以便广告精准投放
项目四(2015.1-2017.2) 工厂生产管理系统 Java+大数据开发工程师
项目描述:
该系统主要用于公司内部对产品的生产管理, 提供给公司内部人员查询产品每天的投
入量 , 产出量 , 产品的不良率等, 以及产品的在生产线上的时时状态(产品的位置信息,
产品在当前节点的停留时间等) , 同时当生产和测试过程中出现的不良品 , 分析人员可
以通过产品序列号在该系统上查询生产测试过程中所产生的不良信息(测试产品时自
动将不良信息保存并生成 log).
项目职责:
1.使用 Mapreduce 完成日志清洗,过滤等操作,并将结果导入到 Hive 中
2.编写 HiveHQL +UDF 对数据统计分析,通过时间,厂区,线别等维度统计产品的投入
量,产出量, 不良率等
3.基于站位和不良项的维度来统计不良产品的 TopN
4.统计分析产线超过 3 小时/6 小时/9 小时/12 小时在当前节点停留未动的机台, 以
便产线管理人员及时找出原因并处理
5.后期基于 Hive 处理数据的延迟性高,项目升级用 spark core 和 spark sql 处理分
析数据
6.用 Spark 开发过程中对性能优化做归纳和总结
项目五(2015.1-2017.2) 苏博教育培训教育管理系统 Java 开发工程师
项目描述:
本系统是按照学校教育管理体系设计开发的一款教育管理系统,主要包括系统管理、
招生管理、班级管理、教务管理、财务管理管理、营销管理等模块。技术上按照
MVC 的标准,使用 Mybatis +Springmvc +Spring 框架整合应用,使用基于
Annotation 的配置,代码精简。
责任描述:
参与需求讨论,开发设计讨论;
负责系统管理模块(员工管理,角色管理,权限管理,角色变更,权限变更)的代码开发及测
试。

团队情况

  • 整包服务: 微信小程序开发   PC网站开发   H5网站开发   App开发   智能硬件开发   运维类开发   DBA开发   
角色 职位
负责人 高级大数据工程师
队员 iOS工程师
队员 安卓工程师
队员 前端工程师
队员 后端工程师

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服