项目:天猫、淘宝、1688、拼多多等网站的 feader 开发 项目简介:以 feapder 爬虫框架以及 flask 框架,对接相关产品库,制作的天猫、淘宝、等网站的商品 数据的爬取。 开发环境:Windows + Pycharm + Flask + Redis + Python + feapder + centos 个人职责:相关需求分析,代码设计,相关平台 js 代码分析,相关代码的编写,代码部署及对接 技术实现: 1. 根据需求分析编写 feapder 框架的结构设计 2. 相关网站的逆向破解 3. 代理 ip 的反反爬策略 4. 使用 redis 进行数据的存储和转发 5. 使用相关接口返回给产品库数据,进行存储