ID：283520
眼镜
PYTHON讲师
- 公司信息：
- 中职通
- 工作经验：
- 3年
- 兼职日薪：
- 600元/8小时
- 兼职时间：
- 下班后
- 所在区域：
- 广州
- 天河
技术能力
熟悉 Python 爬虫系统的设计，能编写高质量网络爬虫，识别常见验证码（爬取过知乎，淘宝等网站数据）了解 Celery 分布式爬虫机制。深熟练掌握全栈开发，对后端到前端的技术原理有全面的认识，熟悉网站开发流程，能够独立搭建完整的网站。
深入理解数据结构与算法，并能够实现哈希表、链表、队列、栈、二叉树等数据结构。
扎实的 Python 基础，熟悉文件 I/O、多线程、装饰器、基础数据结构及模块化。
使用 GitLab 等工具对项目进行持续集成，保证项目能够快速上线以及及时回滚
设计 MySQL 基于 XXX 搭建主从架构，使用 Mycat 实现分库分表、读写分离以及高可用
熟练基于 Scrapy 框架进行分布式爬虫，利用 Xpath，BeautifulSoup，Re 库进行数据清洗，并解决验证码，登录，Javascript混淆，等各种反爬措施。
项目经验
项目时间：2017-01到2011-10
项目名称：分布式爬虫爬取北京市企业信用信息网
项目描述：
项目介绍
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
相似人才推荐
-
500元/天python采集配置工程师北京智慧星光概要：精通python爬虫 有两年以上的工作经验 熟练使用xpath，熟悉爬取post网页以及get网页，
-
500元/天nlp算法工程师北京百保科技信息有限公司概要：熟练使用python的requests及lxml等工具包，能够使用pandas、matplotlib
-
500元/天pythonQQ邮箱发送无概要：gjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjj55555555555
-
1000元/天python开发工程师珠海金山数字网科技有限公司概要：python多线程 多协程 flask开发 爬虫脚本编写 逆向 C# unity pandas nu
-
500元/天高级python开发工程软通动力概要：熟练使用Python进行开发，熟悉常用模块的使用，可使用多进程及多线程开发。 熟悉Linux基
-
500元/天高级Python开发工程师腾讯科技有限公司概要：拥有web全栈能力 编程语言： 精通Python；熟练使用html+css+js 后端
-
500元/天python开发软件开发公司概要：1、从事过3年java开发工作； 2、从事过1年前端页面开发工作； 3、自学axure软件使用，
-
500元/天python研发工程师L1级中国电信概要：本人毕业于西安邮电大学，电子科学与技术专业，本科学历，工科学士学位。现就职于中国电信股份有限公司宝鸡
