1、熟悉Java、了解Scala、Python、Shell、C;
2、熟悉Hadoop,HDFS分布式文件系统,了解MR工作过程及原理,能进行简单调优;
3、熟悉Hive以及数仓建模理论,能将hive和spark sql进行整合,进行数据查询等相关操作;
4、熟悉MySql数据库,能够完成日常开发中SQL语句的编写,了解MongoDB以及Redis数据库;
6、熟悉Linux操作系统常用命令;
7、熟悉SpringBoot以及MyBatis框架,了解Spring、SpringMVC;
8、熟悉常用的前端技术、如JavaScript、jQuery、HTML5、CSS、Vue.js、BootStrap;
9、了解ElasticSearch,能够进行简单的API应用;
本项目主要用于互联网电商企业金领冠奶粉与甲方ERP系统数据传递,是一款基于数仓开发的大数据统计分析系统。对金领冠网站的各种用户行为(访问行为、购物行为、链接点击行为等)进行复杂的离线分析。将统计分析出来的数据存入mysql中,供甲方ERP系统调用,辅助公司中的PM(产品经理)、数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果持续改进产品的设计,以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。