精通java,多线程、io等技术
精通linux等常用命令使用,shell脚本的编写
精通爬虫,可python也可java,熟练fiddle抓包技术,app反编译,极验验证码以及数字验证码等的破解。
熟练掌握web等框架,如springboot、springcloud,spring,springmvc,mybatise等
了解过hadoop、hbase、hive等大数据技术
了解过深度学习nlp技术
爬虫项目:爬取牛牛汽车的资源数据以及,开始准备通过app抓接口爬取,但是接口有加密字段,反编译出来之后,加密部分被隐藏成空白了,然后从网页上找到网页版,网页版爬取需要登陆,通过模拟登录获取cookie以至于访问列表页及详情页进行爬取,但是次网站还有一个反爬机制,就是一个账号cookie访问速度过快会封账号,然后就让领导办了30个账号,每个账号爬完随机睡1倒2分钟。一个cookie可以访问好几天,但为了方便起见每隔一天更新所有账号的cookie。