主要使用语言是python,同时正在学习go,python主要方向是爬虫、数据分析。
爬虫技能:
1.熟练掌握基本的爬虫技巧,例如:requests、urllib,数据解析:xpath、bs4、parsel
2.熟悉异步爬虫,以及多线程和多进程
3.能够进行js逆向分析
4.可以通过验证识别
5.能够进行app数据爬取
6.熟练掌握和使用selenium
7.能够使用scrapy进行多线程爬取
8.了解MySQL、mongodb、redis
数据分析:
1.能够绘制多种图形
2.可以使用numpy、pandas
项目一:
分析逆向试客网的登录密码,先通过搜索关键词password,找到函数返回的地方进行断点调试观察,通过观察推导出密码加密的大致流程:请求网站(data)-》data序列化-》获取RAS密钥rsa_n-》通过var key = new RSAKeyPair("10001", '', rsa_n);获取新的密钥-》通过encryptedString(key, formData[i].value)进行RSA加密产生加密密码,然而rsa_n需要请求https://login.shikee.com/getkey?v=538c874329208518d764125274e9bb99进行get请求,获取rsa_n的值,需要携带data[v:],v的获取途径是页面的,所以找到第一个关键数据rsa_n,通过断点进入到用于new RSAKeyPair("10001", '', rsa_n)加密的文件,并将文件复制下来,保存到自己创建的js文件中,并运行调试,获取新的key,然后再通过复制encryptedString(key, formData[i].value)的加密文件来进行模仿网站加密,从而获取到加密后的password
通过js逆向分析试客网登录操作,从而获取cookie,并巩固js逆向的基础加密知识,以及rsa加密的加密特点
作为基础练习熟练掌握os、resquests、time、parsel等多个模块、了解网站结构,然后通过多级页面请求讲需要的文件下载到本地