熟悉java,Scala编程语言;
有数据建模,数仓管理经验,有离线和实时数仓建设经验。
做过多个spark离线数据处理项目,有flink实时开发经验。
熟悉使用Hive,HBASE,Spark等大数据组件。
商用空调数据分析:
主要负责对商用空调数据进行统计分析,通过代码判定并统计空调故障,最终生成报表。
技术栈:spark,hive,Hbase
工作描述:
数仓管理:负责接入数据的标准化,并落地到Hive数仓中,T+1数据接入。
数据开发:基于Spark引擎开发,实现故障统计。
任务运维:shell脚本定时执行任务。