-- 项目描述
需要根据提供的城市信息,获取某常用餐饮APP内的产品、评分、评价等数据,用作数据分析与问题解决。
1、通过获取常用IP代理池等方式维护爬虫IP代理池;
2、已一定方式划分城市获取节点POI地址经纬度,并入库保存;(mysql)
3、模拟APP登录分布式爬取指定信息数据页面,按一定规则入库保存;(mongodb)
4、进行数据解析获取页面内容,按内容分类入库保存;(mysql)
5、维护程序设计文档。(doc|md)
-- 人员要求
1、精通Python,熟悉常用爬虫开发,熟练操作MySQL以及MongoDB。
2、有APP数据抓取经验,具备一定突破反爬的能力。
3、良好的沟通能力和契约精神。