项目描述:通过向用户推荐合适的帖子,增加用户交互行为(点赞、评论、转发、收藏等),进而增加用户平均使用时长。满足用户体验的多样性、新颖性和数据合理性。
工作内容:
1.收集数据,对数据进行预处理;
2.系统搭建,使用Lambda架构整合实时计算和离线计算;
3.收集用户的点击、浏览、收藏等行为,构建用户画像和文章画像,存储于HDFS集群中;
4.搭建排序模型和wide-deep模型,对正负样本进行采集与评估,实现模型的特征。
5.分析参数,优化参数和损失函数,对参数进行调参。
6.使用gcp进行模型训练、超参数进行调优。
7.对模型进行评估与部署,建立模型评估,设计深度模型的部署方案,建立推荐系统的检验标准。
8.对图像和视频中人脸推荐进行视频解码,图像处理,搭建模型,使用MTCNN人脸检测算法,采用P-net、R-net、O-net级联,对图像进行分类+框回归+关键点回归,使用inception resnet v2主网络提取出128/512个特征值的人脸特征。通过mlp人脸特征进行分类,将基于tensorflow serving模型部署到服务端。
9.对图像和视频分析的场景推荐,通过视频解码、图像处理,模型搭建,采用CNN模型提取出图片特征,使用nasnet/inception resnet v2对场景进行分类。
10.对图像和视频的分析的表情推荐,通过mtcnn人脸检测算法,对图像和视频中的场景进行分类+框回归操作+关键点回归,提取出图片特征,对人脸进行关键点对齐操作,使用CNN提取人脸特征进行分类。
11.基于图像和视频分析的姿态推荐,采用mask、r-cnn检测出人体关键点,先检测出人体,再检测出人体骨骼关键点,然后使用神经网络对人体关键点做分类。
12.优化项目,总结项目,编写项目技术文件。
项目结果: 每天可以向每个用户推荐30篇相似的文章和30个相似的视频,评分相似度可达到9.76。