2017.03-2018.11 设计开发茅台电商项目中的用户行为分析系统。该平台的主要目标是根据用户的行为数据进行运营分析,从而驱动决策制定以及产品智能。整个系统一共分成四个子系统,数据接入子系统、数据传输子系统、数据存储与分析子系统、用户查询服务,其总体架构如图1.2所示。本人主要参与了数据接入子系统和数据存储与分析子系统的研发。下面对这两个模块进行简单介绍:
(1)数据接入子系统
由于考虑到数据接入子系统的数据量较大,http请求的并发程度高。当时我们采用了并发性较强的go语言进行开发,该系统的主要职责是负责PC端以及移动端的数据接入,解析各端数据、Ip增强、ID Mapping,并将处理之后的数据投递到Kafka。
(2)数据存储与分析子系统
Elasticsearch特别适合实时数据的查询分析,因此对于数据的存储我们选择了Elasticsearch。同时,我们将所有的用户行为事件抽象成了两个模型,一个是Event模型,一个是User模型。Event用于记录用户不同的事件信息,User用于记录用户的身份信息。该模型的好处是便于我们后期的多维数据分析。