1 项目背景
360推荐引擎是360奇虎团队自主研发的商业用户推荐引擎,是国内最早尝试信息流
的团队之一,通过推荐算法,广告排名,搜索指数等维度像用户展示信息
2目标
构建一个稳定的可持续变现的用户推荐引擎,通过技术的方式,让用户沉迷其中
3 项目概述
1 项目经历了垂直式架构到分布式架构的演变,最初单纯的springMVC到dubbo。
2 数据处理使用的ETL
3 数据分析存储使用的ES
4 业务数据使用的mysql
5 客户端通讯使用的MTQ
项目职责: 1 项目中担任的角色
我在本项目中的4年时间里,我从T2升到了T7,一直从事着推荐引擎相关的开发工
作
2 项目中遇到的痛点难点
2.1 单机处理大量服务会宕机的问题
2.2 一个系统有太多服务容易宕机的问题
2.3 实时处理的数据太多服务器宕机的问题
3 解决问题的办法
3.1 由springMVC迭代到了dubbo
3.2 根据业务进行服务拆分
3.3 处理处理大致分成三部,首先保存下来,其次清洗,然后分析,由实时分析演
变成延迟的队列离线分析
项目业绩:
1 目标达成情况
1:稳定每天推荐的用户在20万左右
2:稳定每日分析的数据在10BG左右
3:完成首个数据分析类项目
2 我的贡献
1: 完成不同技术的学习然后落地在项目里
2:完成ES的开发
3 完成ETL的开发
4 完成数据分析的部分开发