熟悉Java Web开发相关技术SpringBoot MyBatis MySQL Vue等
熟悉Hadoop Hive Flink HBase大数据相关程序开发
熟悉Redis MongoDB ElasticSearch和Kafka
熟悉Docker和Linux服务器的使用
日志监控告警平台
门禁管理系统
WMS
运营投放系统
功能: 人群圈选 决策计算 和 资源位 短信 Push券 微信消息等投放
实现: 整个平台分为后台配置 离线计算 和近实时计算
1. 涉及到用户标签 变量库 ABTest 人群圈选 任务监控 等。
2. 离线计算是基于Hadoop的MapReduce任务,首先人群圈选,人群来
源有CSV HDFS ES,根据标签计算出符合条件的人群统一存入
HDFS,然后根据每个任务配置的人群、优先级 ABTest 和 去重条
件计算出用户id和活动id的映射关系,然后根据算法组给出的发送策
略投放资源位、短信、Push、券 微信消息等
3. 实时投放是基于Binlog、服务器端埋点、HBase和Kafka等,上游将
Binlog等日志收集清洗之后,通过标签元数据和对应的提取逻辑提
取出用户标签,写入HBase和Kafka,实时投放服务接收到Kafka消息
之后根据用户最新标签计算是否符合某个人群条件(主要是与或非
相对时间绝对时间IN等,这里用到规则引擎计算表达式结果),然后
找出配置该人群的活动,再根据去重条件和用户投放历史决定是否
投放。
4. 利用RabbitMQ的TTL和DLX实现延时投放。