熟悉 java 语言,了解 java 虚拟机,有 scala 编程经验。 熟悉 MySQL 及其调优,了解 Redis 及其哨兵模式。 熟悉 git 常用命令以及原理,理解 MapReduce 思想。 熟悉 Hadoop 工作流程,zookeeper,kafka,hbase 的配置使用和常见特性。 了解 Spark 框架,以及 Spark 调优,有 SparkStreaming 开发经验。
日志数据清洗 对用户与前端页面的交互日志信息进行清洗,通过编写 MapReduce 过滤脏数据,将清洗后的数据按照不 同时间段,客户端,等维度进行封装和计算,提取特征关键字将结果存入相应的事实表中。对统计好的数据信 息进行分析,推进产品的改进。
商品推荐系统 该项目是为了提高用户在商城中的浏览购买体验,通过对用户对网站行为的交互记录进行大数据分析,通 过多维度的计算和处理为用户推荐不同内容的产品,用户行为记录的挖掘,完善推荐反馈机制。提供 online,nearline,offline 的架构支持,找出合适的方案,建立产品推荐服务模型。在本项目中针对系统的冷启动 也作出相关处理,对第一次登陆的用户让用户选择其购买偏好