此为纯后端项目,截图为代码目录。
业务为酒店实时数据流处理,从供应商获取拉取数据并缓存,推送到渠道,再将渠道订单返回给供应商。
本人主要参与以下工作:
* 数据接收、推送功能。SpringBoot,其中涉及线程池优化等工作。
* Nginx优化。由于美团供应商主动推送数据,部分时段并发量大,高峰达12000qps,采用负载均衡对数据实现分流。
* RocketMQ消息队列重新设计实现。理清业务逻辑,优化消息队列数据。
* Redis缓存集群搭建,数据压缩。redis-trib部署集群,满足4台共30G的Redis内存使用;通过压缩Json字段,实现减少40%的内存使用。
* 数据库分库分表。利用MyCat实现,满足了700万酒店,房型,间夜数据的存储。
* 项目拆分,解耦。抽离存储部分,单独一个项目,实现Redis与Mysql数据同步。
* 自动化部署脚本。Python+Shell实现自动拉取Git打包上传服务器并重启的功能。
* 文档撰写维护。维护所有项目、中间件、数据库等部署文档,使部署新服务十分快捷。