ID：156446
热心市民李哲
python爬虫
- 公司信息：
- 上海合合信息科技有限公司
- 工作经验：
- 2年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 周六
- 周日
- 所在区域：
- 上海
- 闵行
技术能力
熟练python语言，深入理解OOP编程思想
熟练使用Python Web框架Django，Tornado框架，了解Flask框架
熟练Django项目uwsgi服务器、分布式等项目部署操作
熟练使用Scrapy爬虫框架
熟练Linux/Windows平台
熟练使用MySQL/MongoDB数据库
熟练前端技术，Html，CSS，JS，JQuery
熟练基于urllib，urllib2，Requests，Selenium 各模块的数据抓取,了解scrapy-redis分布式组件
利用Xpath，BeautifulSoup，Re 的数据清洗
熟悉基于Socket 的网络编程，熟悉HTTP、HTTPS，TCP/IP等协议
熟悉验证码识别、模拟登陆、数据清洗、去重、入库、IP代理池等
有使用pycharm，sublime，vim等开发工具和fiddler抓包工具的使用
有反爬虫策略
项目经验
抓取该项目中所有的文章的内容，需要我们首先获取到所有文章，其次便可以获取到文章中的所有的内容（作者、标题、评论、发布时间、标签以及评论内容等），获取数据时要需要进行解码操作，将获取到正确的数据存储到MONGO中。
1、使用fidder抓包；
2、分析页面结构，获取所有文章中的内容；
3、使用正则以及XPath来解析所有数据；
4、将数据根据文章的名称存储到mongoDB中；
5、设置代理IP绕过网站反扒机制；
相似人才推荐
-
1500元/天python爬虫工程师百度概要：架构层：scrapy及scrapy-redis爬虫架构整体搭建(之前在公司单独做过类似架构搭建，小说
-
500元/天python高级工程师积云集团概要：精通django和flask框架，快速搭建网站。有较强的抗压能力，有很强的责任心，答应好的事一定完成
-
500元/天高级python开发工程师上海昊想智能科技有限公司概要：本人具有扎实的计算机硬件/网络/软件开发专业知识 熟悉python程序语言, 熟练使用django
-
700元/天python工程师子节跳动概要：我目前就读于大学，拥有本科的学历，有资深师资团队，我首先是专业技能方面，我在大学期间学习过pytho
-
500元/天python中级工程师天津创思客概要：1熟练python，熟练运用django框架，操作mysql数据库，服务器项目部署。 2熟练运用抓
-
800元/天python开发盛大网络概要：本人从事python工作5年多，对python有很高的认识，主要开发方向为web全栈，项目中主要运用 -
500元/天高级python研发工程师中国阿里巴巴有限公司概要：熟练掌握python,熟练掌握django, flask, tornado等web框架，深入理解re -
500元/天python工程师广州悦然生物有限公司概要：主要编程语言python，擅长基于anocoda,django框架的后台开发，掌握mysql等数据库
