熟悉Hadoop、Spark、Flink架构常用生态,进行数据平台的搭建和数据分析;
熟悉数据仓库,使用Hive进行场景业务开发,掌握Hive调优工作;
掌握使用MapReduce、SparkCore、SparkSQL、Spark-Streaming、Flink进行离线 与实时的业务数据分析;
掌握Hdfs、Yarn、Kafka、Flume Sqoop、Zookeeper、Azkaban、Presto等常用组件的使用和原理;
熟悉MySQL、HBase、Redis、MongoDB、高斯数据库。
1、负责公司大数据离线、实时平台的建设和优化;
2、负责搭建和维护大数据集群;
3、对海量业务数据进行分析、挖掘、清洗;
主要负责该项目中车辆实时数据的解析工作,车辆实时数据为车载设备收集,通过TCP将该十六进制数据下发地面系统,根据协议规则清单进行数据解析。
该项目中主要负责财务数据的统计分析,根据业务需求,统计年指标数据、月指标数据、日指标数据、同比、环比等。