分布式爬虫
- 合作方式：
- 项目制 全国远程
- 预估日薪：
- 800
- 预估总价：
- 8000元
- 预估工时：
- 10天
- 所在区域：
- 全国远程
需求描述
1. 用scrapy框架和redis实现分布式爬虫，书籍信息储存在Mongo DB里面，书籍下载到本地。
2. 可以对接elastic search 进行数据处理的话就更好了
要求：
1、熟悉python爬虫技术，熟悉requests、selenium、scrapy、xpath、re等技术手段编写爬虫程序进行内容抓取，对抓取到的数据进行清洗过滤，分表存储。
2. 熟悉scrapy框架，redis，mongodb
3.可以做到静态抓取，动态抓取，以及解码
相似职位推荐
-
写程序通过扫码识图小程序或者条码追溯App采集门店货物的信息总价：30000元概要：需求 背景: 有大约两万个货物条形码, 想通过《扫码识图》小程序或者《条码追溯》(小程序/App)
-
PHP开发总价：2500元概要：需要PHP现场驻点开发，长期需要，感兴趣联系我，要求是在合肥本地的。需要开发对现有的小程序进行二次开
-
批发管理系统与小程序总价：10000元概要：TP开发批发管理系统多商户后台管理与小程序 1、商品管理 2、订单管理 3、售后管理 4、损
-
C#项目修改--SharpPcap 抓包类总价：500元概要：1、源码是一个抓包程序，将抓到的包解析。由于网络访问不畅，需要使用加速器，使用加速器后，原先定义的分
-
Java工程师总价：500元概要：1.源码是一个jar包，主要作用是使用国密SM2算法对http请求进行jwt签名，可提供此jar包，
-
Shopify API集成 (Ruby)总价：2100元概要：这个项目需要开发一个简单的两页 Ruby on Rails 网站，用以演示与 Shopify(sho
微信客服
需求方请加需求方端客服沟通需求，工程师请加工程师端客服浏览推送职位
需求方端客服
工程师端客服