本人湖南大学硕士研究生一枚,时间自由,热爱并擅长编程,掌握的编程语言包括python,C++,Matlab等,曾在学校参与过名为Hadoop大数据处理用户行为痕迹记录的创新创业项目并获得国家级优秀,参与过两次大学生数学建模竞赛,目前的科研研究方向为机器视觉、三维重建等。
在Hadoop大数据处理用户行为痕迹记录中采取的方式是对在线学习的资源和用户量进行抓取用户行为痕迹将产生海量行为数据,因此这些数据的处理、处理结果的存储都对应用系统具有很高的要求。Hadoop是当前主流的大数据技术,对海量数据的处理、存储具有优势,因此选用Hadoop平台作为我们用户行为痕迹处理和记录的平台,基于Hadoop技术,将从网络教学网站抓取的用户观看视频的行为痕迹处理、记录,并进行分析,例如处理用户的倍速播放的片段与次数以及前进、回退播放的片段起始、结束位置与次数等,将这些数据转换为视频每帧的播放次数并颗粒化存储到HDFS中,结合用户数据进行统计分析,可获得不同用户、不同视频的学习情况总结。这样能客观并且直观地发现教学中的难度较大与有待改进的环节,将学习视频中存在的问题全面且客观地反馈给网络教学网站和教师,便于教师改进优化教学方案,提升教学质量。其次,它能提醒学生在重点、难点处集中注意力认真研习,更了解自己知识的薄弱环节,便于洞察知识中的漏洞,清楚学习情况,做出科学合理的学习计划。
以上为部分的PS作图作品,本人在研究生会工作期间为各种活动进行拍照、修图、PS等工作,积累了许多工作拍照修图相关的工作经验。
1)根据实际的应用需求与服务器属性配置调整优化Hadoop中节点的部署,通过Java编写Job函数与Map函数和Reduce函数分布式处理用户行为痕迹记录数据; 2)模拟前端不同速度提交用户行为数据,尤其是大并发量提交的情况下,动态调整Map和Reduce的数量,提高计算节点的