1.熟练掌握JavaSE、JavaEE等相关知识,能使用Servlet、JSP进行Web应用的开发
2.熟练掌握常见的开源框架,如Spring MVC、Spring、MyBatis等,能基于SSM开发Web应用
3.熟练掌握MySQL数据库,能够实现读写分离提升数据库性能
4.熟练掌握Redis,包括BitMap等,节省存储空间,提升数据访问速度
5.熟练掌握Linux常用命令,有在Linux环境中开发项目经验
6.熟悉JavaScript、AJAX、ECharts等前端技术,能够熟练完成数据的前后端交互
7.能够使用Git、GitHub、Maven等工具进行团队协作开发
8.能够通过Storm、Kafka、Hbase等相关技术实现数据的实时计算与分析
9.能够独立完成Hadoop、Storm、Kafka、HBase、Hive等环境的搭建
10.了解Hive的工作原理,能够编写简单的UDF,并且能够实现对数据进行离线计算;
商场客流分析系统
1.参与前期需求分析以及系统的详细设计,包括数据库表的设计等
2.负责实时客流统计部分,使用Storm消费Kafka数据,计算有效客流、新访客等指标,并将计算结果存储至Redis以及HBase中,同时通过HDFSBolt将数据存储至HDFS,为后续的离线计算提供数据。通过对HBase存储数据进行优化,解决了写入热点问题,提升了查询速度,并且在Redis中使用BitMap对数据的存储进行了优化,极大的节省了存储空间
3.负责数据同步部分,每天凌晨定时将Redis中的数据同步至MySQL中
4.负责数据可视化部分,使用ECharts展示小时客流、日客流与月客流等数据
信达后台管理系统
1.参与前期需求分析以及系统的详细设计,包括数据库表的设计等
2.负责管理员管理模块,实现了对管理员的管理功能,包括对管理员的增删改查以及禁用与启用等。使用Shiro进行登录验证管理员身份信息以及权限管理等,使用户只能查看具有相应权限的模块
3.负责数据统计模块,计算出每周、每月、每年的交易数据及用户数量。使用ECharts将数据进行可视化呈现,并通过使用Redis存储常用数据,提升了数据的查询速度
角色 | 职位 |
负责人 | 大数据开发工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |