海外代购,用户在我们平台下单,我们帮忙在淘宝 京东等其他平台下单 然后帮忙运输到国外用户,包括采购、订单、仓储、物流、包裹、商品、抓取等服务
抓取服务是用户给输入链接、或者关键字进行淘宝、天猫、阿里巴巴、唯品会、一号店、当当、亚马逊、闲鱼等平台商品的抓取或搜索,整个项目我来负责,设计、多种抓取策略、策略自动切换、缓存、商品预热,抓取失败降级措施、动态解析规则、解析方案智能切换、代理ip池、cookie池等。都是由我来设计和开发
抓取回来的商品落到商品池,一般时候对商品数据的准确性比较高所以只会缓存半个小时,但是双11当天数据价格属性等基本不会变,缓存1天,压力比较大,我们提前准备参与双11的热点数据20万导入到商品池,采用Nginx+redis+ehcache多级缓存架构解决高并发场景下缓存雪崩等问题