主要从事数据开发工作,使用Hadoop大数据框架,离线hive数仓搭建以及数据模型设计,进行大数据的离线计算,同时使用spark计算框架编写spark作业从事大数据的开发工作。日程使用Scala作为开发语言,服务端也会写Java web项目代码,日常也会设计一些python脚本的编写,对Linux服务器较熟悉。
数据云平台:该项目是在公司所售硬件设备上安装客户端,根据需求回传设备各种数据,在云端对用户进行服务,云端主要对数据进行解析汇总,将大量的数据进行处理分析,计算各种指标数据,预测相关信息