◆ 2018.10 - 2021.01 用户行为分析系统
◆ 1.项目概况
用户行为分析系统是为拉卡拉易分期反欺诈提供大数据风控支持的系统,使得公司能够更好的获取用户,维护用户,建立用户画像进行用户分析,数据挖掘等功能。
该系统集数据采集,数据清洗与处理,数据挖掘,数据展示为一体,分为离线和实时两部分。
该项目包含4个子系统:
a.实时数据处理系统(sparkStreaming+kafka+kudu+impala)
b.大数据平台查询系统(dubbo+spring)
c.机器学习与数据挖掘系统(spark ml+python)
d.用户行为web系统(node.js+vue)
◆ 2.我的责任
大数据平台架构设计、cdh大数据平台环境搭建、spark,kudu数据处理统计、实时模型接口开发、参与各个模块的通用性模块开发、帮助项目组成员提供开发方案和解决技术性问题、负责开发人员的代码检查工作,提供指导开发任务性能优化