1、3年以上相关工作经验;
2、扎实的Python基础,熟悉Web、APP爬虫,掌握爬虫与反爬虫技术;
3、熟悉常见爬虫框架,如scrapy、selenium等,有实际项目经验;
4、有taobao、eBay等电商数据爬虫经验;
5、熟练使用Mysql等流行数据库技术,熟悉缓存和nosql,如Hadoop、memcached、redis、mongodb;
6、有良好的学习和理解能力,编码规范和习惯,以及设计、开发和文档编写能力;
1. 电商[淘宝,京东]网站的数据采集,使用wireshare, zaproxy抓包工具,使用scrapy完成数据的采集,清洗,入库
2. 金融数据采集
3. 外卖平台数据采集
4. 百度地图数据采集