完成过三个大数据技术专业的毕业设计,一个是应届生网站的招聘信息数据的分析和可视化,一个是安居客北京租房数据分析和可视化,还有一个是基于协同过滤算法的电影推荐系统。前两个都是拿python的senlenium+xpath爬取网站的数据,然后使用padnas对数据进行预处理,处理完之后存入mysql和hadoop的hdfs上面,然后使用spark对数据进行分析,将分析的结果存入MySQL,然后使用false+ecahrs从mysql抽取分析的结果做成可视化大屏。然后电影推荐系统就是从网上下载的数据,根据als协同过滤算法训练模型,从而对一个用户进行推荐其他没有看过的电影。