* Python语言
* Python网络爬虫技术
* RabbitMQ消息队列
* Celery 任务队列
* 熟练使用redis,mongodb, mysql数据库
* Http协议/Https协议及TCP/ip网络协议
*熟练使用flask
*开发微信小程序
1.负责对天猫、京东、微博,微信公众号平台和美团外卖
、美团团购、饿了么,等服务类 平台的数据抓取。
2.从PC端、移动端、app端三个方向寻找数据接口抓取数据。
3.设计分布式数据采集系统和大规模数据采集策略抓取数据。
4.设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量。
5.设计爬虫的更新策略,保证数据抓取的时效性