ID：258099
伟爵爷
python爬虫工程师
- 公司信息：
- ZPSS
- 工作经验：
- 5年
- 兼职日薪：
- 600元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 成都
- 高新
技术能力
【 技术栈 】
1， 精通 python 语言，熟悉requests，scrapy, selenium，pyppeteer，splash， pyqt5 等常用技术点, 5年 爬虫 开发经验。
2， 精通 mongodb，redis, Mysql, postgresql 等数据库。
3， 精通数据处理，熟悉HTML5，javascript; 以及web开发（flask，django）等后端框架。
4， 熟悉 SVG 矢量图、图片旋转验证、极验滑块验证、超级鹰图片识别、短信验证、代理 IP、JS 动态页面加载、JavaScrip 加密等反爬破解方法；
5，反向代理 针对 js深度加密(js深度cookies、url加密/甚至js包也被加密)反爬措施。
【 主要提供服务 】
代码编写，数据采集，数据清洗，数据更新
【 次要提供服务 】
文件下载，图片水印去除
项目经验
项目经验：
开发项目涉及多个平台，数据来源不仅多且数据量庞大，大致分包含：各类中英文期刊网站，国内外标准网站，材料网站，化学，药物网站，专利等等。
数据清洗分析、调整、上线。
定期维护线上数据、更新数据。
案例展示
-
化学网站来源
上述为国外化学网站，还另包含国内化学来源。 该板块的网站来源，由于数据量庞大，数据采集是采用多线程更换代理ip访问，以提升爬取速度。
-
材料来源板块
举例两个材料网站，网站结构爬取需要账号，爬取也比较困难，最终数据清洗结构也很复杂，经过多次调整（包括数据格式调整，图片水印等等），才能上线使用。
相似人才推荐
-
500元/天python开发中国科学院心理研究所概要：有良好的 Python 基础，熟悉面向对象编程 熟练在 Linux 上进行开发 熟练在 Lin
-
500元/天python开发工程师广州大可科技有限公司概要：熟练掌握Python语言，具有扎实的计算机基础和编程能力，熟悉常见的算法与数据结构； 熟练掌握
-
1000元/天python后端金融IT概要：擅长python,django，爬虫，数据处理，自动化脚本 前端熟练css，js，html开发 -
800元/天python开发工程师百战程序员概要：本人在校大学生，在校期间成绩优秀，除在校学习外，有报名培训班，目前培训已完成。会数据库，HTML5+
-
500元/天高级python开发工程师达观数据概要：能熟练使用python进行后端应用开发、网络爬虫、数据挖掘等，不确定是否达到精通程度。掌握git协作
-
500元/天python开发工程师贵州优特云科技有限公司概要：1、熟悉软件测试、功能、性能、接口、用户场景模拟、自劢化测试 2、熟悉测试理论， 测试流程和测试
-
500元/天Python开发工程师上海华勤通讯有限公司概要：【后端及脚本】精通Python3编码，熟练掌握Django、RestFarmework开发模式及服务
-
600元/天python高级开发工程师中原银行概要：精通python开发 熟悉django,flask等web框架 熟悉python数据分析 熟悉
