天猫数据爬取

电子商务-B2B Lemon_guess

项目简介: 根据业务要求,收集各类商品的天猫与京东销售情况,型号折扣及价格的趋势。 责任描述: 1.使用scrapy框架; 2.使用XPath,正则进行页面分析并提取数据; 3.使用MySQL进行信息存储; 模块介绍: 1.spider模块:处理url地址和需要的数据 2.下载中间件模块:设置代理ip和User-Agent; 3.管道模块:与数据库交互并保存数据...

天猫数据爬取
天猫数据爬取

安居客房价信息采集

新闻媒体-其他 Lemon_guess

项目简介: 此项目是对安居客房价数据进行提取。 责任描述: 1.分析url,找到正确的首页start_url; 2.引擎从调度器中抽取start_url用于抓取数据; 3.引擎把url封装成request传给下载器; 4.下载器把资源下载下来并封装成应答包Response;...

安居客房价信息采集
安居客房价信息采集
------ 加载完毕 ------
联系需求方端客服