ID:330544

正在努力的WZY

爬虫工程师

  • 公司信息:
  • 还未就职,目前做兼职
  • 工作经验:
  • 1年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 周六
  • 周日
  • 所在区域:
  • 北京
  • 海淀

技术能力

通过python爬取各大网站信息
精通resquest,lxml,BS4,threading等与爬虫有关模块
熟练运用xpath提取网页数据
能够熟练多线程爬虫对各大网站信息进行抓取,并存放在MySQL,Mongo,Redis等数据库

项目经验

做过的项目有利用爬虫获取汽车之家所有汽车配置信息,通过解析网页信息,利用xpath获取数据,其中包括型号,品牌,价格等信息,爬取过程中实现自动翻页,对获取到的数据进行去重后保存到MySQL数据库。

案例展示

  • 异步爬虫爬取汽车之家汽车配置信息

    异步爬虫爬取汽车之家汽车配置信息

    利用异步爬虫获取汽车之家汽车的数据信息,其中包括型号,品牌,价格等方面,进行数据去重后并将其保存在数据库中。 在爬取过程中用到了python中的异步模块

  • 多进程爬取爱奇艺视频数据

    多进程爬取爱奇艺视频数据

    利用python的多进程爬虫爬取爱奇艺视频的数据信息,并保存到数据库中。 爬取过程中通过创建多个进程获取数据。

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    1
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服