ID:192209

外走者朱某人

python爬虫工程师

  • 公司信息:
  • 驿道网络科技有限公司
  • 工作经验:
  • 2年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 上海
  • 浦东

技术能力

精通python语法,
精通requests,scrapy在项目中的应用,
在orm的基础上根据需求定制orm框架,
能快速的解决基本的反爬机制,
熟练使用selenium解决滑块验证码,
熟练使用多进程,多线程等技术,
能有效解决高并发等问题。

项目经验

全球各大篮球联赛的数据爬取,从球队,球员,场地,赛程等多个纬度的爬取,然后使用定制的orm映射到数据库。再使用supervisor管理相关爬虫进程。添加爬虫的报警,及时的修复等。。。
国外各大图片网站,pixabay,flicker等网站的图片爬取,上传到oss以及七牛云等云存储中。使用阿里云打标技术对每张图片的打标,以及打标后对应的数据入库等工作。

案例展示

  • 全球篮球数据的爬取

    全球篮球数据的爬取

    利用requests请求数据,把获取到的数据格式化通过orm存到数据库(除文字直播以外的数据),文字直播的数据,球队技术统计,球员技术统计等数据通过消息队列,已json的格式传到前端页面上。

  • 国外各大图片网站的图片爬取

    国外各大图片网站的图片爬取

    对国外各大无版权的图片的爬取,通过像素的筛选符合自己的图片爬取。通过阿里云打标技术,把获取到的标签同时存入数据库中。供用户搜索。

  • 国外各大图片网站的图片爬取

    国外各大图片网站的图片爬取

    对国外各大无版权的图片的爬取,通过像素的筛选符合自己的图片爬取。通过阿里云打标技术,把获取到的标签同时存入数据库中。供用户搜索。

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    1
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服