苏宁易购推荐系统
开发环境:IntelliJ IDEA+Jdk1.8+Scala+Java+Maven+Git
运行环境:Flume+Kafka+Hadoop+Hive+Spark+Hbase+Sqoop+Azkaban
项目描述:根据用户的行为数据,例如浏览、停留时长、购买、收藏、加入购物车、打分等等,为用户推荐可能喜欢的商品及店铺,提升用户对产品的好感度,增加用户购买商品的可能性,提升公司的营业额。
工作职责:
参与讨论需求分析、设计。
离线统计服务:批处理统计性业务采用 Spark Core + Spark SQL 进行实现,实现对指标类数据的统计任务。
离线推荐服务:离线推荐业务采用 Spark Core + Spark MLlib 进行实现,采用ALS 算法进行实现
实时推荐服务:项目采用 Spark Streaming 作为实时推荐系统,通过接收 Kafka中缓存的数据,通过设计的推荐算法实现对实时推荐的数据处理,并将结构合并更新到 Hbase。
主要功能
历史热门商品、店铺
近期热门商品、店铺
商品、店铺评分统计
各类别商品、店铺Top10统计
基于商品、店铺评分统计
商品、店铺评分统计
商品、店铺评分统计
用ALS算法训练隐语义模型
计算用户相似度矩阵
计算商品、电影相似度矩阵