数据获取

猿急送>长沙其它兼职程序员>Psycho>

案例列表

基本信息

案例ID：167311

技术顾问：Psycho - 1年经验 - 币信

联系沟通

微信扫码，建群沟通

项目名称：数据获取

所属行业：企业服务 - 数据服务

->查看更多案例

案例介绍

CS:GO 比赛选手数据获取
开发工具:Python3 所用模块或工具:re、math、datetime、Scrapy、Request、elasticsearch、Scrapyd、Xpath、Fiddler 项目目标: 1.对 CS:GO 每场比赛的最佳情况等数据录入 ES 中
2.对 CS:GO 每场比赛所有选手的数据录入 ES 中
具体内容: 1.搭建 Scrapy 框架，并设置 middleware.py、settings.py 等文件所需参数，编写入库 ES 的管道文件
2.分析网页源代码，判断真实源代码，并用 Xpath 提取所需的数据 3.编写 Spider.py，设置 headers 和 cookies 4.录入数据并生成日志文件
5.用 Scrapyd 对爬虫进行监控
项目结果:成功将 100 万+的数据录入 ES
项目收获:使用 Python 对 ES 进行入库操作，学习 Scrapyd 的使用，使用 ES head 对 ES 进行数据操作处理

案例图片

点击查看他的更多案例

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务，工程师会在任务下报名，招聘专员也会在1小时内与您联系，1小时内精准确定人才

点击发布任务

微信接收人才推送

关注猿急送微信平台，接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服
热门标签列表
程序员接私活 程序员兼职 企业外包 外包案例
热门城市人才
北京兼职程序员上海兼职程序员广州兼职程序员深圳兼职程序员杭州兼职程序员成都兼职程序员天津兼职程序员重庆兼职程序员武汉兼职程序员西安兼职程序员南京兼职程序员长沙兼职程序员苏州兼职程序员厦门兼职程序员福州兼职程序员合肥兼职程序员济南兼职程序员青岛兼职程序员大连兼职程序员长春兼职程序员沈阳兼职程序员哈尔滨兼职程序员石家庄兼职程序员太原兼职程序员无锡兼职程序员南昌兼职程序员洛阳兼职程序员郑州兼职程序员南宁兼职程序员珠海兼职程序员宁波兼职程序员昆明兼职程序员东莞兼职程序员贵阳兼职程序员温州兼职程序员佛山兼职程序员中山兼职程序员海口兼职程序员常州兼职程序员兰州兼职程序员呼和浩特兼职程序员乌鲁木齐兼职程序员海外兼职程序员其他兼职程序员山东兼职程序员远程兼职程序员
热门城市职位
北京程序员招聘上海程序员招聘广州程序员招聘深圳程序员招聘杭州程序员招聘成都程序员招聘天津程序员招聘重庆程序员招聘武汉程序员招聘西安程序员招聘南京程序员招聘长沙程序员招聘苏州程序员招聘厦门程序员招聘福州程序员招聘合肥程序员招聘济南程序员招聘青岛程序员招聘大连程序员招聘长春程序员招聘沈阳程序员招聘哈尔滨程序员招聘石家庄程序员招聘太原程序员招聘无锡程序员招聘南昌程序员招聘洛阳程序员招聘郑州程序员招聘南宁程序员招聘珠海程序员招聘宁波程序员招聘昆明程序员招聘东莞程序员招聘贵阳程序员招聘温州程序员招聘佛山程序员招聘中山程序员招聘海口程序员招聘常州程序员招聘兰州程序员招聘呼和浩特程序员招聘乌鲁木齐程序员招聘海外程序员招聘其他程序员招聘山东程序员招聘远程程序员招聘
热门人才推荐
JavaPHPPythonNode.jsC#C++GoRubyRust全栈后端工程师UnityUEcocos游戏后端工程师游戏工程师iOS工程师Android工程师前端工程师嵌入式工程师UI设计师产品经理测试工程师运维工程师运营/编辑其它
热门职位推荐
iOS工程师Android工程师前端工程师后端工程师嵌入式工程师UI设计师产品经理测试工程师运维工程师游戏工程师运营/编辑其它
找人才 | 接项目 | 招聘专员 | 京ICP备16030138号-1 | Copyright © 2015-2024 猿急送