◼ 熟练掌握 Web 前端网页结构(Javascript、HTML、CSS)。
◼ 熟悉 scrapy 框架,flask 框架,requests,selenium等常用包、模块;
◼ 熟悉常见的划块,点选验证,等技术,熟悉爬虫的工作原理,了解常见的反爬手段;
◼ 熟悉整个爬虫的实现流程,有反爬经验,常见的 js 逆向反爬、字体加密反爬、OB混淆 、vmp等;
◼ 熟悉掌握 Fiddler 抓包工具,谷歌开发者工具;
◼ 熟练掌握 lxml,jsonpath,正则;
◼ 熟悉掌握关系型数据库(MySQL)以及非关系型数据库(mongodb);
◼ 有手机 APP 移动端抓取经验;
⚫ 参与接口监控数据稳定、爬取速度的稳定
⚫破解一些网站加密,APP数据解密,APP逆向破解
⚫fiddler数据抓包数据分析微博APP数据,爬取博主发布的一些数据。