1、 技术方面:熟练掌握大数据框架 Flink、Spark、Hadoop、ZK、Scala、Linux、Flume、Kafka、HBase、Spring Boot、Hive、Impala、Hue、Oozie、Storm、Kettle等
2、 常规技术:Java、python、Mysql、Tableau、Scala、JS、Visio、Office 、思维导图等
3、 管理方面:系统设计、项目管理、开发管理
1、数据仓库项目建设
●主要负责大数据中台需求任务开发,主要是终端 app上的数据计算需求
●核心数仓分层建设与业务域抽象,开发公用代码库
●大数据中台工程化建设,推进数据中台 sql化、工具化,提升程序的稳定性以及开发效率
2、大数据基础平台、大数据治理平台项目开发
●大数据通用平台产品研发,平台主要解决数据汇聚的问题,实现了多源异构数据的离线采集和实时采集到数仓中,并支持分
布式数据清洗,提供高度自由的数据清洗引擎,同时支持集群监控与管理等功能
●大数据治理平台属于大数据基础平台的上游产品,主要包括元数据、主数据、数据质量、数据标准、数据资产等更高级的数
据相关的功能模块,本产品采用模块化设计理念,提供了比较好的扩展性。
3、数据爬虫开发
●交易数据定制化数据爬取,包括买入、卖出、订单等数据
●用户品类数据爬取
●网站用户行为埋点采集