Spark Flink Java Kafka Redis Hive Hadoop SQL SpringBoot BI
·擅长数仓维度建模
·擅长组件搭建
·擅长采用大数据组件进行数据清洗
·熟悉后端开发
项目:某上市鞋履商品运营(阿里云Dataworks、DataV)
职责:
现场分析、调研客户需求,梳理业务侧数据,共同设计指标体系
Dataworks的一站式的数据建模、批处理、调度配置、维护作业
配合数据需求侧的同事(BI、后端)提供目标数据
项目:数据智能平台
职责:
参与数据地图等模块的产品概要设计和原型设计
调研数据血缘开源组件和可视化组件选型
参与Atlas等开源组件的二次开发
输出数据开发逻辑给产品设计
平台数据开发体验者,提出改进建议
项目:某运营商的决策系统(Hadoop、Hive、Zookeeper、Kafka、Storm、Redis、SparkSQL、Logstash、本司自研调度工具)
职责:
客户需求调研,协调客户、后台、前端研发和产品
数仓维度建模、数据抽取、中间事实数据处理、指标汇总、调度配置
优化作业和数据处理Hive脚本
优化大数据组件集群
写Shell脚本对作业进行运维监控,出故障发短信
Mysql存储过程,提供给后端数据