ID：274162
春日微风
python爬虫
- 公司信息：
- 北京阿提拉科技有限公司
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 北京
- 海淀
技术能力
熟练网络爬虫、python编程语言、数据分析、django框架
熟悉html5、javaweb等常见编程语言
django架构，熟悉scrapy框架以及相关的扩展、熟练使用mysql和redis数据库
项目经验
链家网：
网站是静态网页数据，请求url地址是可以直接获取数据内容的
相关的数据内容价格、面积、地址、小区名等都包含在li标签里面，通过parsel解析库，进行解析提取数据
最后利用利用scrapy爬虫框架将数据入库到mysql数据库
安居客网：
网站是静态网页数据，请求url地址是可以直接获取数据内容的
在抓取安居客的房源数据时，发现其对ip地址有严格的访问限制
利用scrapy爬虫框架，redis数据库用来批量存储第三方代理ip形成ip池
scrapy爬虫每次爬取安居客数据时轮询的方式从redis中读取可用IP地址爬取数据
案例展示
-
腾讯新闻首页
import requests from lxml import etree import re def xiangqi(data): html_=requests.get(data['link']) # print(html_)charset=utf-
-
腾讯新闻首页
import requests from lxml import etree import re def xiangqi(data): html_=requests.get(data['link']) # print(html_)charset=utf-
相似人才推荐
-
1000元/天高级Python开发工程师保密概要：熟悉Python 了解Golang 熟悉Pandas Numpy 数据分析 熟悉Django D -
900元/天python开发工程师中电金信概要：精通python开发语言 熟练使用Django,Flask Web框架,遵循RESTful API
-
600元/天python工程师北京乐至道科技有限公司概要：● 熟悉 Python编程语言；熟悉restful协议 ● 熟悉python web开发框架
-
800元/天架构师/Java资深工程师/Python工程师保密概要：需求分析，架构设计，性能调优，Java，Spring Boot，Python，FastAPI，Fla
-
500元/天web开发 爬虫开发 python全栈北京博雅政通科技发展有限公司概要：阿斯蒂芬地方阿斯蒂芬安服阿斯蒂芬地方阿斯蒂芬安服阿斯蒂芬地方阿斯蒂芬安服阿斯蒂芬地方阿斯蒂芬安服阿斯
-
500元/天python开发富力地产概要：掌握python在数据处理、桌面程序、网页端开发等应用场景的使用，精于数据报表开发及相关流程自动化。
-
500元/天Python开发工程师远江盛邦概要：1、前端和后端数据交互，前端运用gulp技术来自动刷新浏览器，压缩文件，监听代码修改，Js技术实现轮
-
900元/天高级PHP开发工程师/Python开发工程师霖珑云科概要：熟练掌握PHP、Python后端语言开发技能 熟悉MySQL数据库，拥有优秀的数据库设计能力
