基本信息

案例ID:150625

技术顾问:GARDINA - 9年经验 - lsd

联系沟通

微信扫码,建群沟通

项目名称:weibo全网爬取

所属行业:企业服务 - 数据服务

->查看更多案例

案例介绍

基于scrapy框架编写weibo爬虫,自建ADSL拨号代理池,优化cookies方式,账号免登陆,解决weibo反爬机制。
爬取思路是以特定几个用户为起点,遍历所有关注列表及粉丝列表,递归爬取,实现全网爬取。

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服