1、熟练使用scrapy、scrapy-redis等爬虫框架进行数据获取;
2、熟练 selenium、u2 等自动化框架;
3、熟练运用逆向、混淆、脱壳、APP等进行数据爬取;熟练运用 frida ;
4、掌握 Mysql, Mongo, Redis 等常用数据库的操作
5、具有批量、大规模数据采集经验,日采集上百万
1、某宝、某东商品信息获取,包括价格、销量(准确)、购买链接、分类ID、商品ID、评论等
2、某逊商品信息,包括价格、购买链接、配置等
3、去某儿、某程机票信息采集。
4、中国某某彩票数据,实现实时更新。
5、某音、某手博主信息采集及视频批量下载等