1.熟悉HTML,CSS,JS的运用,对前端有深刻的了解
2.熟练使用python编写爬虫程序,熟悉seleium,scrapy框架和xpath解析。
3.熟悉异步协程爬虫,提高爬取效率
4.熟练掌握js逆向算法分析,wasm逆向,js混淆,补环境,字体反爬,Tls验证,无限debugger,验证码等反爬技术。
5.熟悉app逆向,模拟登录等
6.有良好的沟通能力。
优志愿js逆向实战参数解密,财经网逆向解密,网易云评论爬取,B站视频抓取,京东验证码识别,以及利用异步爬虫抓取彼岸图片网的图片
彼岸图片的抓取结果,其中利用到异步协程库asyncio和异步爬虫库aiohttp,利用aiohttp库打开会话连接,创建爬取任务并加入事件循环列表,循环阻塞执行,来达到提高速率的效果。
利用scrapy框架抓取去哪儿旅游攻略,其中设计scrapy中代理ip,User-agent池的使用,并发量的控制和对超时请求的异常处理
利用scrapy框架抓取去哪儿旅游攻略,其中设计scrapy中代理ip,User-agent池的使用,并发量的控制和对超时请求的异常处理