1.熟练编写SQL语句
2.熟悉运用flume、kafka、nginx做数据采集,kettle、sqoop进行数据迁移
3.熟悉掌握Spark,Flink,Hive,Impala进行数据分析处理
4.熟悉操作MySQL、HBase、Redis、HDFS等数据存储引擎
5.熟练Linux系统使用,掌握shell脚本、lua脚本的编写
6.熟悉使用Azkaban、oozie进行任务调度
7.具有大数据开发经验,熟悉常见业务,有良好的职业道德和工作态度
智能业务推荐系统
此项目旨在实时捕捉并分析平台即时活跃用户,将其标签化后,将数据传到企业管理后台,利于实时营销将产品精准性推荐,并定期性对历史活跃用户进行时长分析、平台活跃意向分析等,帮助企业快速获取准客户、潜在客户并摒弃无效客户。