熟练掌握python编程语言,主职为python爬虫和脚本,熟悉爬虫框架scrapy,熟悉Selenium可以爬取动态加载的网页,熟悉爬虫框架以及原理,熟悉网页和APP抓取的原理和技术,精通正则表达式,熟悉网络协议及数据交换标准,能够快速解析各类结构化及非结构化数据;有分布式爬虫系统的开发经验。对反爬也有深入的研究。精通python邮件收发系统。
境外亚马逊爬虫和登陆脚本的编写,淘宝数据采集 ,知乎数据采集,绝对领域图片下载,使用scrapy加redis进行分布式爬虫爬取大规模数据,避免重复爬取已爬网页,多数网站和APP都可以爬取。