1. 精通Python,熟练使用scrapy/requests/bs4/pandas等爬虫高级框架,能完成数据爬取+数据清洁+数据储存+可视化展示全套服务;
2. 熟练运用BurpSuite进行抓包,有丰富的反反爬虫经验(切换IP、云打码等方式),能使用自动化系统对数据进行定期爬取;
3. 极强的解决问题能力,同时能明确理解需求,易于沟通。
1. 对天眼查若干区域百万级企业信息进行爬取,克服验证码难题,自动生成分区域Excel文档
2. 对bilibili.com千万级数据进行爬取,包含用户、视频、文章等丰富信息,熟练运用代理池
3. 对airbnb.com订单数据进行定期爬取
4. 对ctrip.com自动搜索并破解获取酒店价格信息