职位ID:101417

APP数据:分布式网络爬虫开发(Python)

  • 合作方式:
  • 项目制 远程+定期见面
  • 预估日薪:
  • 1000
  • 预估总价:
  • 8000元
  • 预估工时:
  • 8天
  • 所在区域:
  • 北京
  • 朝阳

需求描述

-- 项目描述
需要根据提供的城市信息,获取某常用餐饮APP内的产品、评分、评价等数据,用作数据分析与问题解决。
1、通过获取常用IP代理池等方式维护爬虫IP代理池;
2、已一定方式划分城市获取节点POI地址经纬度,并入库保存;(mysql)
3、模拟APP登录分布式爬取指定信息数据页面,按一定规则入库保存;(mongodb)
4、进行数据解析获取页面内容,按内容分类入库保存;(mysql)
5、维护程序设计文档。(doc|md)

-- 人员要求
1、精通Python,熟悉常用爬虫开发,熟练操作MySQL以及MongoDB。
2、有APP数据抓取经验,具备一定突破反爬的能力。
3、良好的沟通能力和契约精神。

信用行为

  • 发布项目
    1
  • 订单总数
    0
  • 退款单数
    0

完善简历

工程师完善技术能力和项目经验,更易接到订单

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信客服

需求方请加需求方端客服沟通需求,工程师请加工程师端客服浏览推送职位

需求方端客服
工程师端客服
联系需求方端客服