ID:247092

宅惑

  • 公司信息:
  • 工作经验:
  • 1年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 可工作日驻场(自由职业原因)
  • 所在区域:
  • 其他
  • 全区

技术能力

对Python爬虫的request,selenium,scrapy框架,mysql数据库,Redis数据库熟练掌握,
21年通过了软考初级程序员考试,对淘宝,新浪微博,github,全书网,简书,360图片都有
一定爬虫经验,了解常见的反爬虫机制,能运用代理,cookie池技术。

项目经验

1.利用scrapy框架的crawlspider爬虫抓取简书文章及相关数据,并将数据通过pipeline存储到mysql数据库中,后将项目增添了scrapy-redis组件,优化为了分布式爬取。

2.利用selenium+scrapy框架,将新浪微博的登陆成功后的cookie存入cookie池,再通过随机取出cookie对新浪微博的相关个人信息及微博内容进行爬取,并存储到mysql数据库。

3.通过构建post请求对github进行登陆,并获取数据。

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服