ID：142594
(｡•́︿•̀｡)面团
爬虫开发
- 公司信息：
- 中国电信上海分公司
- 工作经验：
- 4年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 所在区域：
- 上海
- 长宁
技术能力
精通Python爬虫， 有丰富的数据爬取、解析、清洗、存储相关项目工作经验，并熟悉常见的反爬虫技术及其突破方案；
熟悉网络编程(TCP/HTTP 协议)，多线程、多进程相关知识，有大型分布式爬虫经验；
熟悉各类验证码，有丰富的验证码破解经验，成功破解图片验证码、滑块验证码、微博宫格验证码等多种主流验证码。
有丰富的APP爬取经验，能够利用mitmproxy/Charles等HTTP/HTTPS工具进行app信息爬取
项目经验
舆情监测项目
根据客户指定的行业方向/监测关键字，通过对微博、主流门户网站、微信公众号、视频网站等主流互联网媒体进行大规模的爬虫数据采集，得到舆情监测报告基础数据，并进行数据清洗，以及简要的维度统计。
责任描述：
1、负责爬虫整体项目环境的搭建，采用Scrapy-redis框架进行分布式爬虫，并使用布隆过滤器实现高效的爬虫队列。
2、负责微博爬虫开发，使用Selenium模拟微博登陆，获取Cookie并搭建Cookie，并对接代理池，有效减少微博反爬封号。
3、负责门户网站爬虫开发，实现简单的调度模块对接Scrapy，进行每日自动爬虫。
4、负责视频网站app端爬虫开发，通过手机端CA证书截取网络通信数据，实现信息爬取
相似人才推荐
-
1000元/天服务器主程上海火魂信息科技有限公司概要：七年服务器C++开发经验，六年游戏服务器C++开发经验，目前在公司任服务器主程 0.精通C++ -
500元/天后端开发好未来概要：熟练掌握Java服务器后端开发，Apache服务器配置，Tomcat服务器配置。 前端技术，HTM
-
500元/天软件开发工程师华为技术有限公司概要：熟练使用Python，有独立完成项目的经验。 熟练使用Java，曾负责独立模块的开发、维护。 熟
-
1000元/天项目主管钱包金服概要：Java相关： 1. 熟悉oo思想，精通java相关的开发，熟悉常用设计模式 2. 熟悉多线
-
500元/天数据分析师香港城市大学概要：1、爬虫、数据清洗、数据分析、数据挖掘，nlp 2、nodejs、django、laravel前端
-
500元/天无无概要：rails + grape API开发： Rails 是使用 Ruby 语言编写的 Web 应用开
-
1000元/天高级技术经理东软集团概要：精通基于J2EE架构的JAVA编程，熟悉J2EE常用设计模式及主要技术，熟悉Python语言、She
-
1000元/天架构师，高级开发程序员CaaSoft Software Technology概要：我是一名致力于成为复合型全能工程师的软件开发爱好者。 此处版面篇幅有限，无法完整展示我所掌握的技能
