技术选型:
爬虫框架:Scrapy 开发爬虫项目,具备多线程、分布式能力
爬虫部署容器:Scrapyd 爬虫发布运行的容器,运行爬虫、远程控制、队列数据
爬虫可视化管理服务:Gerapy、ScrapydWeb 管理、调度、打包、发布、监控、统计的web,Gerapy无监控和统计,ScrapydWeb通过LogParser解析日志实现监控统计
日志解析服务:LogParser 解析日志统计
网页代理渲染插件:scrapy-splash (可选)模拟浏览器渲染网页得到最终呈现数据,少写代码,效率低