项目简介:使用 requests 库以及 flask 框架、多线程制作的对杭州女装网商品采集,对接相关产品库, 爬取相关数据。 开发环境:Windows + Pycharm + Flask + Redis + Python + requests + centos 个人职责:相关需求分析,代码设计,杭州女装网平台 js 代码分析,相关代码的编写,代码部署及对接 技术实现: 1. 根据需求分析编写项目的结构设计 2. 分析破解杭州女装网使用的极验滑动验证 3. 引入超级鹰第三方平台解决该平台使用的点触验证问题 4. 使用 selenium 自动化工具获取 cookie 5. 使用 redis 进行数据的存储和转发 6. 使用相关接口返回给产品库数据,进行存储