ID：246014
璃殇
Python
- 公司信息：
- 浙江科技大学
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 周六
- 周日
- 可工作日远程
- 所在区域：
- 杭州
- 余杭
技术能力
掌握Python基础语法，具备基础的编程能力;掌握Linux基本操作命令，掌握MySQL进阶内容。知识点包括Python基本语法规则及变量、逻辑控制、内置数据结构、文件操作、高级函数、模块、Python常用标准库模块、函数、异常处理、MySQL使用、协程等。掌握爬虫、数据采集、数据机构与算法，掌握人工智能技术。涉及的知识点有数据抓取、数据提取、数据存储、爬虫并发、动态网页抓取、scrapy框架、分布式爬虫、爬虫攻防、数据结构、算法等。
项目经验
项目时间：2017-01到2011-10
项目名称：分布式爬虫爬取北京市企业信用信息网
项目描述：
项目介绍
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
相似人才推荐
-
500元/天python高级工程师北京富能通科技有限公司概要：1. 高性能架构 1.1. 分布式架构思维 1.2. Zookeeper分布式环境指挥官
-
500元/天python工程师易恒健康概要：- Web开发：Python/Node/go - Web框架：Django-restful/fla
-
600元/天Python开发工程师上海戎磐网络科技有限公司概要：Python、Django、Mysql、Redis、Elasticsearch、Celery、Scr
-
500元/天php python 前端温州市温工汇文化传媒有限公司概要：1、5年的php开发经验 2、会的开发语言 前端（熟练） html css js vue un
-
500元/天Python开发雨云科技概要：熟悉 MySQL，MariaDb, Redis 数据库，了解 MongoDB 数据库； 熟悉 Dj
-
500元/天python网络爬虫程序员北京宽明科技有限公司概要：熟悉掌握python语言，html5，javascript，Jquery，mysql，mongodb
-
500元/天python爬虫工程师鑫奉工作室概要：熟悉python爬虫，可编写scrapy框架等，可做数据采集工作，可以存储到数据库·表格等方式进行存
-
500元/天python后端安徽万工信息技术有限公司概要：目前是安徽大学计算机专业研究生二年级在读，研究方向为图像识别。本人熟练掌握python及Linux系
