ID:156810

锐谦

爬虫工程师

  • 公司信息:
  • Scount
  • 工作经验:
  • 2年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 下班后
  • 可工作日驻场(离职原因)
  • 可工作日驻场(自由职业原因)
  • 所在区域:
  • 成都
  • 高新

技术能力

两年互联网行业工作经验,其中一年爬虫经验,有匡威,耐克,淘宝,知乎等网站的数据抓取经历。了解chrome和fiddler抓包,分布式爬虫scraoy-redis,逆向解析js,抓取ajax动态数据,beautifulsoup,selenium+phantomjs,ip代理池,验证码识别,文本分类等技术。

项目经验

1.项目概况
通过对球鞋网站的实时数据抓取,数据分析过滤,给广大鞋友提供信息服务
2.我的职责
主要负责数据抓取,数据过滤,数据存库,消息推送,代理池使用与维护的代码实现和后期修改。
其中我使用了chrome浏览器的开发者工具进行网页数据结构分析,使用beautifulsoup进行数据抓取,使用了scrapy_redis分布式部署服务器提高爬取速率,使用了网上的ip代理服务保障访问的稳定性,使用redis实现数据的存储与使用。

相似人才推荐

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    1
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服