基于人和店维度的业务指标,支持离线数据与实时数据计算的数据应用服务,根据对指标归类和规则计算,得到周期结 果。 系统主要做了三件事情,数据收集、数据加工、数据查询。解决了原来服用性差、接入成本高、不具备实时计算能力等问 题。 门店分级体系的建设帮助贝壳在门店维度有了抓手, 优势门店权益倾斜,较差门店预警督促,形成良性闭环。
技术要点: 1. 分层架构设计,抽象出配置层、数据加工层、计算层、结果层 2. 复用性:HiveSQL和Flink数据清洗, 抽象数据模型, 打平业务数据的差异, 提高免开发率 3. 高吞吐:类master-woker模式实现高吞吐,并发处理,可伸缩 4. 扩展性:基于规则树的抽象, 配合责任链与策略模式, 提高可扩展性 5. 高性能:结果数据基于城市所在大区进行分表,结合分布式缓存,压测系统承载能力,提供高性能查询