ID：227460
房波
爬虫工程师
- 公司信息：
- 合肥讯飞数码科技有限公司
- 工作经验：
- 1年
- 兼职日薪：
- 700元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 合肥
- 全区
技术能力
掌握MongoDB、Mysql相关操作
掌握Scrapy爬虫框架
使用selenium爬取数据动态页面数据
掌握高效爬虫获取数据
熟练使用xpath、re提取页面信息
可以解决大部分post请求以及带cookie请求
具有独自编写代码爬取网站数据信息的能力
熟悉scrapy-redis的部署
熟练使用Pycharm
项目经验
根据任务安排对目标网站进行爬取，补充数据量，分析目标网站的网站结构和一些反爬手段
通过requests、scrapy、xpath等技术手段编写爬虫程序进行内容抓取
通过分析解决目标的post请求限制
通过携带cookie对建设通进行访问，获取相关内容
通过django框架编写对数据库进行操作的工具
维护服务器爬虫脚本的每天定时更新
负责对爬取的业绩进行相关信息的提取
负责对数据库企业信息的补充，主要从爱企查更新目标信息
使用logging模块根据日期定向输出日志文件
案例展示
-
获取公共资源交易中心数据
根据任务安排对目标网站进行爬取，补充数据量，分析目标网站的网站结构和一些反爬手段 通过requests、scrapy、xpath等技术手段编写爬虫程序进行内容抓取 通过分析解决目标的post请求限制 通过携带cookie对建设通进行访问，获取相关内容 通过django框架
-
获取房天下数据信息
1、这个项目是通过scrapy-redis搭建分布式爬虫爬取房天下所有城市房源信息，爬取列表页每一项下的子页获取数据。 2、通过在scrapy框架下编写代码获取所需数据，部署项目通过redis爬取房源信息。 3、最后通过编写脚本将redis数据库中的数据读取存入json文件和
相似人才推荐
-
500元/天开发工程师深圳微盟科技有限公司概要：有丰厚做线上商城与点餐系统的经验，并且价格优惠，可以电话详聊 有电商零售，餐饮外卖，本地生活，社区
-
500元/天资深工程师上海灿谷投资管理咨询服务有限公司概要：1、5 年+带团队、项目管理和敏捷实战经验，通过 PMP 资格认证。 2、10 多年软件研发工作经
-
800元/天ERP开发工程师深圳市亚辉龙生物科技股份有限公司概要：鼎捷开发，金蝶K3开发 ，Oracle ebs 开发，sap ABAP开发，主要做erp开发，最近
-
500元/天天眼查数据抓取1概要：复制天眼查信息复制天眼查信息复制天眼查信息复制天眼查信息复制天眼查信息复制天眼查信息复制天眼查信息复
-
500元/天图像算法工程师广州鹰瞰概要：岗位：图像算法工程师 个人技能：熟练运用C/C++、Python语言，熟悉Opencv、Matla
-
600元/天数据库开发工程师中通服软科技有限公司概要：1、熟练掌握使用Oracle、MySQL关系型数据库。 2、熟练pl/sql编程 存储过程编写
-
500元/天物探软件高级工程师中石油概要：1.熟悉windows环境下的QT桌面程序开发 2.熟悉各类设计模式 3.了解mysql,sql
-
600元/天全栈开发工程师杭州博彦科技有限公司概要：android 能够独立开发，具备良好的编程习惯，有较强独立解决问题的能力。 熟练掌握屏幕的
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
接收人才推送
联系需求方端客服