01.熟练使用Java、scala开发语言
02.熟练掌握Linux操作和Shell及脚本编写
03.熟练CDH、Ambari、Hadoop生态、Flink、Kyligence、Tableau等组件搭建调优
04.基于PB级别大数据架构搭建及运维开发等工作
开发架构 : ActiveMQ+CDH+Kafka+HBase+Hive +Hadoop+SparkStreaming+ Presto
项目描述 : 该项目为网约车出行 APP,通过用户使用 APP 打车服务,收集相关用户信息,进行大数据的一系列处理,分析,展示,应用等,以此来提高服务质量,产值等等.数据清洗会通过调度平台来处理,处理好的数据,,将会通过Metabase,Grafana 进行展示,报表邮件发送等.
责任描述 : 1.对 Kafka 传过来的实时、离线日志和 Binlog 进行解析入Hive 表或HBase 表
2. 永洪报表平台迁移至 Metabase 和Grafana 平台
3. 开发配置调度系统任务,将数据入仓进行一系列清洗,处理和转换
4. 对 Hive 库数据格式转换,优化提升查询速度(如搭建Presto 集群)
5. HDFS 数据迁移,压缩,Hive 表创建等
平台搭建运维调优, Kyligence升级构建, Tableau平台优化升级, NiFi集群搭建升级及应用
出行打车APP, 基于当前市场, 主要负责订单类数据, 基于Kafka用spark、flink消费kafka数据, 及时消费处理, 数据落地至HBase、Hive库