pyt三年一直从事IT行业,有一年的Python前、后台交互开发及两年的Python爬虫工作经验,熟悉常见python爬虫的反爬机制并有相应的解决方案,熟练使用动态网页抓取工具selenium、PhontomJs等。了解web前端页面的布局技术,例如html,css,js ,ajax等;熟练使用第三方库。hon web python爬虫 数据分析 数据可视化 主要是后台,小程序也会一些,主要语言是python。爬取过天猫,淘宝等网站
1. 根据项目的需求抓取简历咖、纷简历、51job、智联招聘、赶集网等网站的简历。账号自动登录,主要是用到cookie和post模拟登录,登录之后需要进行搜索,搜索行业和地区,最后是下载简历。以上这几个都是封装成接口。直接调取接口。
2. 使用scrapy-redis分布式以及定时任务爬取数据。构建自己爬取ip代理池或公司购买的稳定ip代理,应对限制访问频率。利用多个账号进行模拟登陆,获取cookie,构建cookie池,防止账号限制登陆。用python的smtp定时发邮件汇报爬虫获取数据的情况。
3. 将网络招聘从“简历交互模式”推进到“招聘流程全部网络化”的产品,为产品提供相应的简历,同时为数据实时处理平台提供简历。
1. 根据项目的需求抓取京东、天猫、淘宝的手机商品信息及评论人、评论时间、评论属性。首先获取网址,查询该网站URL接口,使用requests模块获取网站源码,在使用Beautifulsoup标签定位来获取浏览量和评论量及评论属性,通过好评、中评、差评,来给评论属性进行明确区分,根
魔方微猎(www.mofanghr.com)将网络招聘从“简历交互模式”推进到“招聘全流程网络化”,魔方微猎可以直接安排面试时间,求职者可以在线预约后即可直接到企业面试,彻底解决招聘信息过期、求职成本过高的弊端。 魔方微猎主要是面向525群体的初级个人求职者(525群体,5
中国已到数字化革命阶段!如何把数据大变成大数据,大数据创业经典案例-分享 中国已到数字化革命阶段!如何把数据大变成大数据,如何把大数据变成数字产业经济已经成为一轮科技革命。做大数据商业模式对比