精通java语言
熟悉大数据生态圈,熟悉hadoop和spark的批量处理和流式处理
对搜索技术elasticsearch有良好的认识,为公司的开发自主查询系统
熟悉javaweb开发,熟练使用spring mybatis等框架,对mvc,多线程开发有深刻的认识,前端js,css也可以胜任!
Java + Hadoop + Hive + HBase(软件环境)该项目是一个日志分析系统,首先使用Shell脚本每天定时将日志数据导入到HDFS中,通过分布式hadoop集群处理网站每天产生的日志文件,分析出网站的浏览量PV,访客数UV(其中包括新访客数和新访客比例),每天访问网站的IP数、跳出率、平均访问时长/访问页数、重点用户等信息,统计每天注册成为网站会员人数等。将MapReduce清洗后的数据使用HBase存储,使其能够使用ip、时间查询,使用Hive对数据进行分析处理,将Hive处理后的数据使用Sqoop导入到MySQL中,提供视图工具供用户使用,给网站管理人员用于决策,其中明细数据使用HBase查询、指标使用MySQL。