注:本人投递的任务,均为历史或者已从别的平台完成过的项目。
1、熟练使用scrapy、scrapy-redis等爬虫框架进行数据获取;
2、熟练 selenium、u2 等自动化框架;
3、熟练运用逆向、混淆、脱壳、APP等进行数据爬取;熟练运用 frida ;
4、掌握 Mysql, Mongo, Redis 等常用数据库的操作
5、具有批量、大规模数据采集经验,日采集上百万
1、某宝、某东商品信息获取,包括价格、销量(准确)、购买链接、分类ID、商品ID、评论等
2、某逊商品信息,包括价格、购买链接、配置等
3、去某儿、某程机票信息采集。
4、中国某某彩票数据,实现实时更新。
5、某音、某手博主信息采集及视频批量下载等
1、需要过淘宝的滑块检测获取需求的数据,主要获取商品名称、价格、销量、分类ID、商品ID、店铺名称, 2、获取亚马逊平台上的指定商品数据
1、获取京东商城指定数据,主要获取商品名称、价格、店铺名、以及商品链接,可根据实际需求获取商品详情参数