熟练掌握Python编程语言,负责脚本的编写
熟练使用Redis、MySQL等数据库
熟练使用Nginx或uWSGI搭建服务器
熟练掌握Selenium, Mitm等反反爬技术
熟练使用Flask, 了解Django
熟悉常用的网络协议, 熟悉基本的数据结构和算法
熟练使用Linux系统
了解Docker容器技术, 并能通过Docker Swarm搭建分布式爬虫集群
开发多个航司的爬虫并维护
采用Scrapy开发多个航司的爬虫
使用Charles对多个航司APP进行抓包, 找出最优爬取方案
采用MitmProxy + js注入解决WN航司的反爬
对于F9航司的Google九宫格验证码,采用盲人语音 + 百度语音识别解决
使用Selenium获取多个航司所需的cookie,增加爬虫效率