四年python开发经验,主要以爬虫工作为主,掌握目前主流框架requests,scrayp等等,对各类反爬比较了解,对各类网站网页有一定的爬取经验,封ip,封账号,js加密,验证码,响应中文乱码等等反爬技术,掌握服务器的部署环境,http协议,已经selenium自动化操作。
1.从各大招聘人才网站爬取了大量的公司信息,拿到公司名称用来做查询条件,存入数据库,由于数据量大,对数据库操作慢,影响效率,通过redis 做数据管理池提升效率,网站每次查询需要输入验证码,又对验证码进行破解,最后做数据的优化清洗工作
2.自动化模拟登陆,破解极验滑块、数字字母验证码识别完成相应操作
3.破解诸多js加密网站
按时完成,合作很愉快