新浪微博分布式爬虫
案例介绍
Master机只管任务调度，不管爬数据；Slaver机只管将Request抛给Master机，需要Request的时候再从Master机拿。
开发语言：Python2.7
开发环境：64位Windows8系统，4G内存，i7-3612QM处理器。
数据库：MongoDB 3.2.0、Redis 3.0.501
（Python编辑器：Pycharm；MongoDB管理工具：MongoBooster；Redis管理工具：RedisStudio）
爬虫框架使用 Scrapy，使用 scrapy_redis 和 Redis 实现分布式。
分布式中有一台机充当Master，安装Redis进行任务调度，其余机子充当Slaver只管从Master那里拿任务去爬。原理是：Slaver运行的时候，scrapy遇到Request并不是交给spider去爬，而是统一交给Master机上的Redis数据库，spider要爬的Request也都是从Redis中取来的，而Redis接收到Request后先去重再存入数据库，哪个Slaver要Request了再给它，由此实现任务协同。
新浪微博分布式爬虫
案例介绍
此项目实现将单机的新浪微博爬虫（见《新浪微博爬虫分享（一天可抓取 1300 万条数据）》）重构成分布式爬虫。
Master机只管任务调度，不管爬数据；Slaver机只管将Request抛给Master机，需要Request的时候再从Master机拿。
开发语言：Python2.7
开发环境：64位Windows8系统，4G内存，i7-3612QM处理器。
数据库：MongoDB 3.2.0、Redis 3.0.501
（Python编辑器：Pycharm；MongoDB管理工具：MongoBooster；Redis管理工具：RedisStudio）
爬虫框架使用 Scrapy，使用 scrapy_redis 和 Redis 实现分布式。
分布式中有一台机充当Master，安装Redis进行任务调度，其余机子充当Slaver只管从Master那里拿任务去爬。原理是：Slaver运行的时候，scrapy遇到Request并不是交给spider去爬，而是统一交给Master机上的Redis数据库，spider要爬的Request也都是从Redis中取来的，而Redis接收到Request后先去重再存入数据库，哪个Slaver要Request了再给它，由此实现任务协同。
案例图片
相似案例推荐
-
智能文本标注训练平台
文本标注训练与可视化基于文本类的结构化、半结构化和非结构化数
-
工业设备故障知识图谱平台
基于变压器故障知识整合，整合电力设备故障检修领域内的海量、离
-
医疗影像检测研究
基于反复注意力机制残差网络的新冠肺炎医疗影像自动诊断模型，由
-
道路目标检测
利用剪枝优化技术对基于YOLOv4的道路目标检测模型进行轻量
-
养老软件
独立开发前后台功能，使用fastadmin框架，包含产品需求
-
企业级聊天机器人对话系统
前台基于Java springboot实现，连接MySQL数
1小时精推人才
需求方专属客服，免费梳理匹配
