1. 985硕士,多年爬虫采集相关工作经验;
2. 熟悉爬虫原理,熟悉各类数据爬取,有过大规模、高并发爬虫开发经验;
3. 熟悉主流爬取技术及爬虫框架工具,熟练掌握python,fiddler、charles等抓抓包改包工具
4. 擅长验证码加密处理/代理池等爬虫相关技术;
5. 有一定逆向分析能力,熟悉Android、Js逆向、反编译、设备指纹、混淆、脱壳、动态分析、HOOK,Js混淆、ollvm混淆等。
熟悉各类电商平台,旅游网站,问答网站,音视频网站等各类网页版、小程序版、app版本的数据爬取。
例如:美团酒店、饿了么药店、拼多多、淘宝、抖音、新浪财经、58、去哪儿、马蜂窝、飞猪、酷狗、网易云等各类网站。
分析饿了么app买药模块,按城市分析数据接口,获取药店名称,评分,营业时间,商家地址,以及售卖各类药品名称,id,价格,优惠幅度,月销量等数据,解决反爬问题,进行定时更新。
分析马蜂窝网页端数据接口,选择旅游攻略模块,进行城市列表解析过去,逆向cookie信息,进行攻略数据的抓取分析,包括攻略发布时间,图文内容,阅读量,评论量,作者信息等,实现全量数据爬取。