一. 项目需求:boss网站数据采集,采集内容如下:
1. 地点:上海
2. 数据:搜索会计职位,爬取上海所有会计职位信息,职位列表页的职位信息数据和职位详情页职位描述信息数据。
3. 要求:因boss网只显示10页内容,所以爬取工程要分区爬,使数据完整;boss网因涉及到js反爬,所以不熟悉js反爬的勿接;使用python编写代码,不要selenium版本或pyppter版的爬虫,需要直接请求或scrapy爬取数据;最后需要交付代码验证数据确实为程序所爬,并非人工搜集,程序到手要能跑起来。
二. 人才要求:python爬虫工程师,熟悉js反爬破解,熟悉requests,scrapy,aiohttp等爬虫相关库和框架。