1)根据实际的应用需求与服务器属性配置调整优化Hadoop中节点的部署,通过Java编写Job函数与Map函数和Reduce函数分布式处理用户行为痕迹记录数据;
2)模拟前端不同速度提交用户行为数据,尤其是大并发量提交的情况下,动态调整Map和Reduce的数量,提高计算节点的适应性和运行效率,从而使应用程序既能在此环境下快速有效运行得出所有用户观看视频时操作行为的汇总数据,又不会过于频繁启动,造成资源浪费;
3)测试计算节点的用户行为数据处理速度,调整计算节点处理数据分片大小,增强程序适应性。