ID:248987

晨曦orditional

数据分析

  • 公司信息:
  • 北京野马尘埃
  • 工作经验:
  • 1年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 可工作日远程
  • 所在区域:
  • 北京
  • 海淀

技术能力

能熟练使用python开发,掌握对网站的数据爬取工作,能进行简单的数据分析,熟练掌握爬虫request,scrapy、scrapy-redis爬虫流程,掌握正则表达式、xpath提取方式 ,掌握构建分布式爬虫。熟悉网站常见的反爬策略,能根据网页分析出常见反爬技术

项目经验

瓜子二手网 获取全部品牌的车辆信息,使用scrapy
瓜子二手网是动态加载的网站,先使用抓包工具获取响应,为json格式
创建scrapy项目,在爬虫文件中重写start_requests(),将url入队列
将获取的响应进行解析,获取新的地址,交调度器入队列
将二次获取的数据解析后传入管道,保存至数据库

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服