1.掌握逆向分析技能(JS逆向破解、hook、解混淆)
2.熟悉大规模高性能抓取技巧
3.熟悉各反反爬原理和解决方法(cookie、ip、验证码)
4.熟练使用逆向工具(JS调试、fiddler)
5.各网页复杂抓包技能(xpath、re...)
6.掌握各项社会工程技能(大规模IP获取与搭建,账号获取)
7.熟悉scrapy、requests、mysql的开发和使用
一.负责(微博、美图app、得物app等小众app)负责app逆向+js逆向工作
1.做抖音、快递行业、等爬虫程序开发
2.负责群控脚本开发
3.为公司整理各项社会工程资源
4.分析和解决各种反爬方式。诸如(js加密破解/ip限制等)
项目亮点: app逆向+隧道代理+js逆向破解加密参数,目前整体数据里级已经达亿级
二.电商数据采集
1.亚马逊、速卖通、jd、pdd
2.web逆向+隧道代理+破解加密参数+风控
项目责任:负责和业务方沟通,独立开发爬虫程序及数据存储交付