YL的案例列表

新浪微博分布式爬虫

人工智能-其他 YL

此项目实现将单机的新浪微博爬虫(见《新浪微博爬虫分享(一天可抓取 1300 万条数据)》)重构成分布式爬虫。 Master机只管任务调度,不管爬数据;Slaver机只管将Request抛给Master机,需要Request的时候再从Master机拿。 开发语言:Python2.7 开发环境:64位Windows8系统,4G内存,i7-3612QM处理器。 数据库:MongoDB 3.2.0、Redis 3.0.501 (Python编辑器:Pycharm;MongoDB管理工具:MongoBooster;Redis管理工具:RedisStudio) 爬虫框架使用 S...

新浪微博分布式爬虫
新浪微博分布式爬虫
新浪微博分布式爬虫
------ 加载完毕 ------
联系需求方端客服