美团信息爬取

生活消费-外卖 山河

代码分为两个模块,1:主程序 2:get_cookie文件 提取ip,访问首页,睡眠,让页面完全加载,不然就会少cookie,用访问页面所需要的时间来判断,大于3s的NG,重新提取IP 小于3s的ok了,获取cookie,判断是否完整,_utma,_utmc,_utmz文件一旦缺失会很快弹验证,使用mark和店铺信息info用于判断抓取是否都成功...

美团信息爬取
美团信息爬取
美团信息爬取

百度地图爬取

生活消费-出行 山河

需求为全国城市各个地级市的行业店铺对应数量,准备有省市区excel,获取excel,拼接为关键字加入参数获取url,得到json数据html,针对进行解析写入excel...

百度地图爬取
百度地图爬取
------ 加载完毕 ------
联系需求方端客服