- 该系统旨在通过对历史数据的分析,和多个系统数据的整合,通过指标计算的方式,自动帮配送员匹配到合适的订单,以减轻仓库需要专门安排人手进行手工排线的情况。不同于外卖和叫车等实时和线性路线的业务,该任务是每天截单后排一次,司机路线采用块状匹配,实现方式为定时批量计算。
- 该系统中主要用到的技术主要有 Spark, SpringMVC, Dubbo, ZooKeeper, canal, MySQL, ES, Redis, RocketMQ, VueJs 等。
- 我在团队中主要负责Spark计算任务,以及第一版排线算法的实现。后有跨部门的资源引入,与人工智能及算法团队合作一起对结果进行优化。之后又进行了数据仿真平台搭建,排线过程可视化和地图展示,评价函数的实现,以及排线结果分析等工作。
- 这一阶段, 我进行了大量的spark应用的实践,调试和优化,在团队中担任了多种角色,制作多个工具解决问题,对于大数据处理积累了一些经验。