受互联网+概念的催化,在线教育市场发展火热,越来越多的在线教育平台相继上线,如:腾讯课堂、极客学院、网易云课堂等,那些注重用户服务、教育质量的平台会最终胜出。如何提高用户服务水平,提高教育质量是每个机构都面临的问题,大数据技术的应用可以从海量的用户行为数据中进行挖掘分析,根据分析结果优化平台的服务质量,最终满足用户的需求。智慧学成项目就是将大数据技术应用于在线教育领域,从海量的用户行为数据中进行挖掘分析,分析用户的学习行为、学习质量等指标,为企业经营提供数据支撑。
该项目是对在线教育平台业务进行大数据统计分析的系统,对课程、用户、教育机构三个业务领域进行数据挖掘,采用企业级ETL的规范化研发流程,以及企业级数据仓库建模思想,对课程、用户、机构三个主题的不同维度进行数据分析,挖掘数据的价值,为在线教育平台运营提供参考数据依据。
我的职责
1. 日志服务器采集用户行为数据保存到hdfs中 / NiFi采集业务数据
2. 根据采集的原始数据数据进行清洗
3. 根据清洗的结果进行统计分析
4. 统计分析的进行数据存储
5. 结果数据提供给业务使用:报表系统展示