项目描述: 为六盘水本地的电子商务网站"凉都购"编写一个商品推荐系统,以此来提高用户体验感,提升用户满意度。数据采集阶段采用JDBC对合作方所提供的MySQL数据库进行采集,并存为CSV文件传入HDFS中。数据存储阶段采用Hive对数据进行存储,将数据采集阶段的CSV存入指定Localtion。离线推荐阶段通过Spark读取HDFS的数据文件并转换为RDD进行推荐运算,最后运算结果存入MySQL。数据可视化使用JSP与SpringMVC来对数据进行可视化。
项目职责: 负责数据收集、数据存储、数据分析和数据接口的编码,以及部分数据可视化模块的编码