获取公共资源交易中心数据

基本信息

案例ID:151737

技术顾问:房波 - 1年经验 - 合肥讯飞数码科技有限公司

联系沟通

微信扫码,建群沟通

项目名称:获取公共资源交易中心数据

所属行业:企业服务 - 数据服务

->查看更多案例

案例介绍

根据任务安排对目标网站进行爬取,补充数据量,分析目标网站的网站结构和一些反爬手段
通过requests、scrapy、xpath等技术手段编写爬虫程序进行内容抓取
通过分析解决目标的post请求限制
通过携带cookie对建设通进行访问,获取相关内容
通过django框架编写对数据库进行操作的工具
维护服务器爬虫脚本的每天定时更新
负责对爬取的业绩进行相关信息的提取
负责对数据库企业信息的补充,主要从爱企查更新目标信息
使用logging模块根据日期定向输出日志文件

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服