两年多python工作经验。掌握JS逆向分析、验证码破解(图像识别+机器学习)等反爬虫突破技术,分布式爬虫系统的开发。熟练使用scrapy、requets、urllib等爬虫类库;mysql、mongodb、redis等数据库;flask、tornado等web开发框架,xpath、正则等数据提取语言。熟悉TCP/IP、HTTP等通信协议,HTML/CSS、JS等前端代码的分析。
使用scrapy爬虫框架+redis开发分布式爬虫,爬取裁判文书,法律法规,工商信息,公检法信息,法律新闻等数据(APP+网站),同时对爬虫、爬虫服务器进行更新和维护;根据后端开发人员提出的需求编写脚本清洗数据。