ID：277237
枯魂
python
- 公司信息：
- 无
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 可工作日驻场（自由职业原因）
- 所在区域：
- 其他
- 全区
技术能力
Python中8种数据类型的精通使用
Python匿名函数、列表推导式、装饰器的熟练使用
Python中re、requests、beautifulSoup等库的熟练使用
ython爬虫框架Scrapy的熟练使用
Python爬虫伪装中代理IP、UserAgent的熟练使用
Python与scrapyt-redis分布式爬虫的基本使用
Python操作Mysql数据库增删改查
Python操作MongoDB数据库增删改查
Python建立数据库连接池提高效率
熟悉Linux日常工作环境，熟练掌握常用命令和调优监控手段
项目经验
爬虫的增量爬取、断点续爬、去重等分享一下你的经验
通过网址池的概念去管理所有的 url
增量爬取就是补充下载已经下载过的，让网址池记住那些已经下载过的 url
断点续爬，就是场次还没有爬取的 url 这次接着爬，还是让网址池记住那些还没被爬取的 url
爬虫的去重，让网址池记录 url 的状态以避免重复爬取
案例展示
-
协程爬虫
第一个好处是协程像种在程序级别模拟系统级别的进程，由于是单线程，并且少了上下文切换，因此相对来说系统消耗很少，而且网上的各种测试也表明协程确实拥有惊人的速度。
-
B站爬虫
导入模块，查看网页源代码确认url，发送请求，得到响应数据，解析，检查代码避免报错，保存合成，查看，
相似人才推荐
-
500元/天python工程师字节概要：python 第一：云计算技术。 C++和c JAVA pthon 开发经验 python -
800元/天python工程师360概要：1、掌握python的基本语法、具备良好的编程能力、了解并掌握多种数据库的使用 2、掌握数据爬虫、
-
500元/天python开发工程师英业达（重庆）有限公司概要：精通python及人工智能，云计算技术，精通Linux操作系统，分布式服务架构。 2.分布式架
-
600元/天python开发师湖南诚趣教育科技有限公司概要：django框架及vue框架开发前后端项目，python爬虫及数据分析，微信小程序开发，liunx平
-
500元/天python讲师成都职通教育科技有限公司概要：1.熟练 python语言，熟悉整个爬虫的设计及实现，有网络爬虫、网页信息抽取开发经验，擅长对大量数
-
800元/天python工程师枣科概要：1. 参与完成了公司电子商务平台系统分析与建模、框架搭建、核心模块的开发、数据库设计，部分模块的编码
-
500元/天python研发工程师北京荣强四海科技有限公司概要：具有8年各种大小型软件项目的完整流程开发和项目管理经验，沟通能力强，精通Python开发。
-
500元/天python工程师火焰科技有限公司概要：熟练Linux，win开发 擅长用tensorflow torch caffe paddle框架搭
