1.熟悉hadoop框架,hdfs小文件的处理、yarn的工作机制和调度器、MapReduce的原理等。
2.熟悉Linux的系统,掌握常用命令。
3.掌握zookeeper的安装部署、常用命令的使用。
4.掌握flume的安装部署,能够通过常用配置进行文件监控,建立通道,进行文件传输。
5.熟悉kafka的架构原理,安装部署、使用、标准一次性消费、优化、监控等。
6.熟悉hive的架构原理,能够编写HQL,使用常用的系统内置函数以及对hive的优化。
7.熟悉MySQL数据库,Redis缓存数据库的原理使用。
8.熟悉HANA数据库,能够进行接口开发。
9.熟悉kylin的安装部署、配置和使用。
项目名称:华为营销洞察系统数据开发
项目时间:2020.3-至今
项目描述:在hive的dm层(应用层)构建开发模型,然后将数据导入到高斯数据库,在基于kylin的指标开发平台进行相应的分析对象、指标构建、数据集开发等。并通过LTS调度平台配置相应的调度。
责任描述:
负责官网界面、舆情界面的数据开发。
开发对应的hana接口。
在LTS调度平台配置相应的抽数脚本依赖、指标构建依赖等。