一只余光萧瑟的scrapy_小白的案例列表

千里马

企业服务-数据服务 一只余光萧瑟的scrapy_小白

1.根据需求在网站采集相关数据信息 2.将采集下来数据进行清洗并查重 3.将采集到数据存入公司的数据库...

千里马
千里马

华夏汽车

企业服务-数据服务 一只余光萧瑟的scrapy_小白

二手车信息爬虫+数据分析开发工具:PyCharm+python3 技术模块:requests、xpath、re、redis、线程池、mongodb 项目描述:爬取华夏二手车所有二手车信息,对数据进行统计(品 牌分析、二手车品牌占比、折旧率分析等) 职责描述: 1、使用 requests、concurrent 线程池,queue 队列抓取网页数据; 2、购买代理 ip,实现代理 ip 池,定期检测 ip 的可用性,维护代理 ip 池的质量 3.通过正则、xpath 等清洗网页内容并保存数据到 mongodb;...

华夏汽车
华夏汽车
------ 加载完毕 ------
联系需求方端客服