基本信息

案例ID:162410

技术顾问:Lemon_guess - 3年经验 - 河北萌兔网络科技有限公司

联系沟通

微信扫码,建群沟通

项目名称:天猫数据爬取

所属行业:电子商务 - B2B

->查看更多案例

案例介绍

项目简介:
根据业务要求,收集各类商品的天猫与京东销售情况,型号折扣及价格的趋势。
责任描述:
1.使用scrapy框架;
2.使用XPath,正则进行页面分析并提取数据;
3.使用MySQL进行信息存储;
模块介绍:
1.spider模块:处理url地址和需要的数据
2.下载中间件模块:设置代理ip和User-Agent;
3.管道模块:与数据库交互并保存数据

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服