1、熟练使用scrapy、scrapy-redis等爬虫框架进行数据获取;
2、熟练 selenium、u2 等自动化框架;
3、熟练运用逆向、混淆等进行数据爬取;熟练运用 fiddler;
4、掌握 Mysql, Mongo, Redis 等常用数据库的操作
5、具有批量、大规模数据采集经验
1、某宝、某东商品信息获取,包括价格、销量(准确)、购买链接、商品ID、评论等
2、某逊商品信息,包括价格、购买链接、配置等
3、某电子数据采集,每日更新
网站需要重定向,cookie反爬,账号登录,指纹验证等反爬。根据关键字获取搜索到的全部数据,存入数据库,每日更新
根据关键字搜索,获取价格和库存 存入数据库 每日监听网站 根据关键字,监控商品价格是否浮动过大进行预警