技术: 基于Spring-boot + ES 搭建商品管理系统(开发完成后拉取关键字达500W+, 商品信息达千万级别); 功能描述 1. 可通过关键字创建爬虫任务 ,提交关键字后后台生产相关爬虫任务, 后台多线程并行爬取关键字相关商品信息; 2. 将爬取下来的商品信息存储到ES; 3. 通过页面查询ES中的商品信息 ;...
项目简述:该系统为龙湖内部高效办公协同系统,文档作为最底层的服务对各个业务方输出文档存储预览能,并承载了各个系统的数据迁移工作。 责任描述:1、做为小组长参与文档底层架构设计、落地了文档权限、预览、存储等工能 2、组织上线代码Code Review,保证线上代码质量,团队间高效协同 3、线上服务巡检问题处理:消息中间件消息积压、消息幂等、内存溢出、CPU陡增、进程假死、服务拆分木块优化等 4、攻坚项目难题处理了分布式场景下锁问题、服务全链路TraceId日志查询、服务外统一异常处理拦截、异步线程工具 5性能优化:接口性能瓶颈分析(Arthas)、Es查询调优 6、千万级文件数据迁移...