ID:339986

Mystery

爬虫工程师

  • 公司信息:
  • 美团
  • 工作经验:
  • 5年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 可工作日驻场(离职原因)
  • 所在区域:
  • 成都
  • 双流

技术能力

精通Python编程语言,熟悉其标准库及第三方库如Beautiful Soup、Scrapy等。
丰富的网络数据采集经验,包括处理动态网页、使用代理、解析JSON/XML等。
熟悉常用的数据存储和处理技术,如MySQL、MongoDB、Pandas等。
熟悉常见的反爬虫技术,如ajax动态加载, 字体反爬, js逆向, 验证码等等能够制定有效的反封锁策略

项目经验

1. 电商网站数据采集与分析项目
项目描述: 该项目旨在采集多个电商网站的商品信息,以支持公司的市场分析和竞争情报工作。
我的角色: 负责设计和实现整个爬虫系统,并处理网页反爬虫机制,确保数据的可靠性和稳定性。
使用技术: Python编程语言、Scrapy爬虫框架、Selenium库(用于处理动态网页)、MongoDB数据库。
项目成果: 建立了一个高效稳定的数据采集管道,每日自动采集数十万条商品信息,并将其存储于MongoDB数据库中
2, 社交媒体数据采集与用户行为分析项目
项目描述: 该项目旨在采集多个社交媒体平台的用户数据
我的角色: 主导整个爬虫系统的设计和开发,与数据分析团队密切合作,确保数据的质量和及时性。
使用技术: Python编程语言、Scrapy框架、js逆向、Pandas库。

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    1
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服