ID:203779

enter回车键

web

  • 公司信息:
  • 华为
  • 工作经验:
  • 2年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 北京
  • 海淀

技术能力

1、熟悉数据库的使用,能够熟练使用MySQL、PostgreSQL、MongoDB等开源数据库,有大数据的存储、索引优化经验;
2、能够熟练使用python语言。有过Django、tornado、flask等框架开发经验;
3、熟悉互联网常用协议,有HTTP、TCP、UDP相关协议开发经验;

项目经验

项目名称:分布式爬虫爬取药业新闻
项目描述:
这个项目是通过scrapy-redis搭建分布式爬虫爬取药业新闻公布栏,爬取列表页每一项下的子页获取数据;
我的职责:
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求,并通过scrapy.Request发送请求,用xpath匹配需要的信息。
同时循环创建下一页请求的form表单,通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中,
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服